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81.1 统计 结构 


§1.4.1 统计 结构 


概率 论 和 数理 统计 都 是 研究 随机 现象 统计 规律 性 的 数学 学 科 ，, 它 
们 之 问 联系 密切 ,但 也 有 根本 差别 :在 梳 率 论 中 研究 的 出 发 点 是 一 个 概 
宝 间 (党 5 洲 22]) 即 已 知 -个 样本 空间 ' 缀 .党 中 基 些 子 集 组 成 的 
5 代数 .共和 在 可 测 笃 间 ( 客 , 哆 ) 上 定 尽 的 -个 概 雍 分 布 王 ,然后 研究 
这 个 概率 空间 的 各 种 性 质 ;而 在 数理 统计 中 研究 的 是 一 组 受到 随机 性 
于 挑 的 数据 , 瑞 加 上 人 们 对 这 组 数据 的 一 些 认 识 ( 即 各 种 假设 ) ,就 形成 
数理 统计 研究 的 出 发 点 ,然后 对 所 考虑 的 问题 作出 统计 推 籽 或 预测 . 为 
说 清 这 个 出 发 点 :我 们 先 看 一 个 例子 . 

例 .1 ( 淹 量 问题 ) 一 个 试验 者 对 未 知 的 物 一 量 上 进行 测量 ,为 
了 对 产 作 出 估计 , 太 家 知道 ,他 的 测量 钊 z 会 受到 各 种 随机 因素 的 影 
响 , 以 至 于 使 x 可 认为 是 如 上 湖 轴 误差 8 后 而 符 到 的 , 即 

十 E 
这 里 的 “可 各 性 "是 人 们 对 测量 数据 构成 所 作 的 -个 侦 设 ;经 过 多 次 使 
用 经 验 ,说 明 这 个 假设 是 合理 的 .另外 ,由 于 测量 误 益 < 是 受到 测量 仪 
器 .和 拷 境 语 度 .光线 .视觉 .心理 等 因素 的 秘 小 变化 而 引起 的 综合 结果 ， 
据 中 心 极限 定 埋 ,又 可 认为 是 服从 均值 为 ¢ 和 方 关 为 亚 的 正春 分 布 
N00%), 这 是 人 们 对 测量 数据 的 另 一 个 假设 (认识 } ,至 此 ,我 们 对 这 
个 测量 值 问题 的 认识 有 如下 三 点 : 
i. 测量 值 xz 可 取 任 何 实 数 , 实 数 集 FR 组 成 样 种 空间; 
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2， 实 数 集 民 上 的 Borel 集 的 全 体 组 成 的 5 代数 -ri 
3. 在 可 调 空 间 (R ,BnY 上 的 - :个 概率 分 布 族 
EB 一 CR) TCR ER 及 XR 
其 中 及 -是正 实数 集 . 

这 样 三 件 东西 R::5s 和 .区 就 是 我 们 研究 测量 问题 的 出 发 点 . 假 
如 不 仅 了 解 上 服从 正 态 分 布 , 而 且 还 知 其 方差 为 ms5 比 如 知道 测量 仪器 
的 精度 ) , 邮 么 分 布 族 就 缩小 为 

光一 人 NA :ppE RR) 
这 时 及 ,356x 和 2, 就 成 为 我 们 研究 这 个 问题 的 出 发 点 ,假如 我 们 对 随 
机 误差 & 了解 英 少 , 讲 不 出 = 的 分 布 是 什么 类 型 ,上 只 知 道 它 是 甘于 0 对 
称 的 连续 分 布 , 那 么 分 布 族 就 扩大 为 
二 I 了 :PP 为 R 上 关于 卢 对 称 的 分 布 ; 
这 时 ,研究 这 个 问题 的 出 发 点 就 是 及 ,Sa 和 和 2,. 

定 必 [上 1 设 忆 区 静 ) 为 可 测 空 间 , 喀 为 其 上 的 - -个 概率 分 布 族 ， 
则 称 三 元 组 (有 , 溪 ,: 作 ) 为 统计 结构 ,或 称 为 统计 模型 .假如 分 布 族 : 字 
私信 赖 于 菜 个 参数 (或 参数 何 量 冯 ,加 

B= {Pt HE OB! 
其 中 及 为 参数 空间 , 则 称 此 结构 为 参数 (统计 ?结构 ,或 称 为 参数 ( 统 
讨 ) 模 型 , 吾 则 称 为 非 参 数 (统计 ?结构 或 非 参 数 ( 统 计 ) 模 型 . 

在 例 1. 1 中 KR ,: 源 R 下 (有 , 殉 5( 且 ,R 和 :是 三 个 不 同 
的 统计 结构 .它们 之 问 的 差别 可 能 反 野 实 际 背 景 的 莽 别 ,也 可 能 反映 人 
们 对 衬 际 情况 认识 上 的 差别 ,因此 这 三 个 结构 可 能 都 是 合理 的 ,至 于 选 
用 哪 一 个 结构 ,这 已 不 是 一 个 理论 间 题 ,而 是 一 个 兴 践 性 很 强 的 问题 ， 
大 们 常 途 和 借 经 验 积 累 .专业 知 识 和 抽 当 慨 括 等 来 确定 统计 结构 . 

在 例 1. 1 中 , (及 ,3 ,有 ) 和 (了 及, 字 ) 是 参数 结构 ,而 (及 ,和 ， 
2) 是 非 参 数 结构 .人们 往往 希望 从 参数 结 梅 出 发 来 研究 问题 ,因为 参 
数 结 构 含 有 较 多 的 信息 ,由 此 出 发 ,可 以 获得 精度 较 高 的 参数 居 计 ,但 
这 样 微 要 意识 到 是 有 风险 的 ,因为 当 参 数 结 罗 不 三 时 ,三 推断 结果 可 能 
离 实 际 更 远 了 .车 选用 非 参 数 结 构 , 所 冒 风 险 就 要 小 得 多, 因为 非 参 数 
结构 所 会 的 信和 总 较 少 ,适应 面 广 ,但 精度 一般 不 会 很 总 ,以 后 会 看 到 ,在 
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这 两 类 结构 上 下 所 用 的 统计 推断 方法 有 很 大 莽 别 ,以 至 于 在 今天 已 形成 
统计 中 的 参数 方法 与 非 参数 方法 两 类 . 


$1-1.2 乘积 结构 与 重复 抽样 结构 


山 简 单 的 统计 结构 可 以 派生 出 一 些 比 较 复 杂 的 统计 结构 . 

定义 1.2 设 ( 绪 , 池 , 泥 ) 和 (名 "者 ,YY') 是 商 个 统计 结构 , 则 称 
(的 .FP') 为 两 者 的 习 积 结构 ,并 记 为 (各 , 饮 , 泊 ) 
的 (7, 洲 ' ,2 站 ,其 中 

OP PHOP:PE .PE BP') 

类 似 地 可 以 给 出 多 于 两 个 统计 结构 的 乘积 结构 . 特别 ,n 个 相同 统计 结 
构 (2 ,多 ,2) 的 乘积 结构 称 为 重复 抽样 结构 . 记 为 ( 爸 , 霓 , 才 )* 或 

羔 积 结 愧 在 实际 中 相当 于 独立 观察 系统 ,重复 抽样 结构 相当 于 对 
一 个 总 体 进行 有 限 次 独立 抽样 结果 的 措 述 . 今生 ,“ 从 一 个 总 体 ( 或 分 
布 ) 抽 到 -个 举 本 ”与 "从 一 个 统计 结构 抽取 个 样本 "这 两 种 说 法 是 表 
孙 同 个 春 轧 . 

例 1.2 在 方差 相等 的 两 个 正 态 均值 的 比较 的 问题 中 ,车 对 于 第 
一 个 正 态 总 体 N [ja,o) 获 得 ni 个 观察 入 ,对 杆 第 二 个 正 态 总 体 
Ni ps0 ) 闭 得 no 个 观察 值 ,那么 研究 这 个 问题 所 涉及 的 统计 结构 是 
一 个 彝 积 结构 . 


(R" 的 {R08 ,IY] 
一 | Rt , HW" 的 Er2) 


B= (NOD): (nd) EE Rx R'} 
HB NCR) (po EE RX R+} 
[ 及 ”5 是 第 -个 正 态 总 体 的 重复 抽样 结构 、 而 (BR, S22) 
是 第 “个 正 态 总 体 的 重复 抽样 结构 . 
从 定 文 1.2 可 以 看 出 ,从 统计 结构 (人 受 ,党 ) 抽 取 窜 量 为 二 的 样 
本 和 从 重复 抽样 结构 C9." ,BF") 抽 取 容 基 为 ] 的 样本 所 给 出 的 信 
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息 是 一 样 的 . 
定义 1.3 设 ( 池 ,各 ,人 2)" 为 重复 抽样 结构 ,对 每 个 样本 (XX),…， 
蔷 由 所 人 "由 


下 一 二 > Tuxsn， YY 证 和 全 R 
z=- 1 


所 确定 的 ( 芝 , 沼 ) 上 的 分 布 称 为 样本 分 布 或 经 验 分 布 . 对 每 一 个 样本 
观察 值 来 说 .天 5Cz) 是 一 个 分 布 冰 数 , 称 为 样本 分 布 吓 数 或 经 验 分 布 函 
数 , 对 每 个 固定 的 xEER,F,(x) 叉 是 样本 及 ,…',X, 的 -个 函数 , 故 
zt) 和 是 -个 随机 塞 量 ， 
由 于 可 把 请 示 性 图 数 ix<an 一 1 2 看 作 是 独立 同 分 布 , 仅 取 
0 或 1 的 随机 变量 , 故 有 
1 


EF,tzr)= ET 二 PE r= Fr) 


Var[ F(z) |= DVarlixes 
1 
4 
其 中 F(z) 为 分 布 族 汉中 某 个 王 的 分 布 函 数 , 常 称 户 (zx) 为 某 总 体 的 
分 布 酷 数 . 由 大 数 定律 可 知 , 对 任意 。 汪 0, 总 有 
PUFA ~ FEO 人 一 人) (1.1) 
这 表 表 ,只 要 n 傅 来 愈 大 ,样本 的 经 验 函 数 F(x) 可 以 意 米 铺 接 近 总 体 
分 布 函 数 F(x), 因此 可 以 用 Ftx) 的 各 有 阶 短 (如 样本 均值 ,样本 方差 ， 
样本 相关 系数 ,样本 协 瞩 差 库 等 ?研究 统计 结 格 ( 孚 ， 沱 ,到 ) 的 革 些 转 
征 . 这 一 想法 在 统计 中 是 经 常 被 使 用 的 . 
” 美 干 经 验 分 布 函 数 所 5Cz ,还 有 比 忆 .1) 更 强 的 结论 , 那 就 是 如 下 
的 格 里 汶 科 定 理 ， 
定理 1.1( 格 里 汶 科 ) ”对 任意 给 定 的 自然 数 #n, 设 xz.…* ,xXx, 是 取 
自 总 仁 分 布 站 数 正 (x} 的 一 个 样本 观察 值 ,,(z) 为 其 经验 分 布 阔 数 ， 
记 


_1 _ 1 
一 a Ll F(z)] 所 a A 


万 ,一 SUP | PCz)》 一 Flr) | 


$1.1 统计 结构 “5。 


则 有 


PllimD,= 0}=1 
这 个 定理 的 证 明 在 很 多 教科 书 " 上 都 可 找到 ,这 里 不 再 叙述 了 . 容 
易 看 出 ,上 述 DD, 可 用 来 衡量 R(x) 与 F(x) 之 间 在 所 有 的 之 值 上 最 大 
差异 程度 . 该 定理 表明 ;在 # 无限 大 时 ,对 于 所 有 的 z 秆 ,F(z) 与 下 
(z) 之 差 的 绝对 值 是 一 致 地 僵 来 仍 小 ,这 个 事件 发 生 的 概率 为 1. 


$1, 1.3 可 控 结 构 


日 前 对 统计 结构 研究 最 多 ,所 获 结果 也 较 多 的 二 可 控 结 枸 ,为 了 斤 
述 可 控 站 构 , 我 们 从 测度 的 绝对 连续 性 谈 起 . 

定 兴 14 说 A 与 了 是 可 渍 空间 (2 , 绍 ) 上 的 两 个 oo 有限 测度 , 假 
如 对 .次 中 使 gktN) 一 0 的 某 个 集合 六 ,也 使 w(N 一 0, 则 称 z 对 产 是 绝 
对 连续 的 ,或 者 立 被 产 所 控制 , 记 为 要 天 

根据 Radon-Nikodym 定理 ,在 v 冬 姑 条件 下 ，: 定 存在 这 样 一 个 
党 可 测 蝗 数 az 定义 在 . 孚 上) 使 得 


oCB) 一 | pin(de), Y BE 


此 函数 plz) 称 为 对 的 Radom-Nikodym 导数 , 记 为 
piXx)} = 至 ， a. S, [| 

并 上 这 个 丽 数 ptz) 在 a.s. [yj] 意义 下 是 唯一 的 ,这 里 a.s. [yj 表示 “ 除 
测度 x 为 零 的 集 人 台 外 都 成 立 ”, 常 称 " 对 闫 斤 平 处 处 成 立 ”, 或 称 " 以 概 
率 1 成立” 

定义 1.5 设 (到 ,天 , 字 ) 为 一 统计 缚 构 : 若 在 下 测 室 间 ( 且 ,用 ) 
上 存在 这 样 一 个 有限 测度 pg, 使 得 .多 中 每 一 个 慨 率 分 布 己 对 产 都 是 
绝对 连续 的 , 即 


Pap, YPES 
则 称 该 结构 是 叮 控 的 ,相应 的 Radon-Nikodym 导数 dP/dg 称 为 概率 
密度 也 数 ， 
在 数理 统计 中 常用 来 作 控 制 的 os 有 限 测度 是 黄种 ;计数 测度 和 
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Lebesgue 测度 ， 

例 1.35 计 数 测 度 ) 说 :只 一 及 ,有 称 是 直线 上 -: 切 Borel 集 组 成 的 
ga 代数 ,在 (2 党 ) 上 定义 如 下 测度 

ACEB) 一 五 中 非 负 整数 的 个 数 ， 区 在 拒 : 海 
容易 验证 ,这样 的 测度 是 5 有 限 测 诬 , 并 称 为 计数 测度 . 它 可 以 控制 任 
一 个 定义 在 第 人 久 整 数 集合 所 (或 其 子 集 ) 上 的 概率 分 布 汪 , 其 Radon- 
Nikodym 导数 就 是 通常 的 概率 分 布 列 . 如 对 Poisson 分 布 凤 而 言 , 任 一 
个 不 会 非 负 整数 的 Borel 集 4 的 计数 测度 zk4) 为 零 , 而 在 这 样 的 集合 
上 Poisson 概率 瑚 (4) 必 为 零 , 而 对 任 一 个 Borel 集 如 ,Poisson 概率 
PB}) 可 表示 为 
PB) = | Te pldz) = YY Cer 

™ = 人 NN " 
这 里 的 + 只 能 取 非 负 整 数 . 所 以 Poisson 分 布 对 计数 测度 的 概率 密度 
请 数 


P(x) 一 | Te 
0， 其 它 

类 似 地 可 对 二 项 分 布 族 , 伍 二 项 分 布 族 作出 解释 . 今后 对 离散 分 布 所 谈 
论 的 概率 密度 隔 数 就 是 指 该 分 布 对 计数 测度 的 Radon-Nikodym 导数 . 

例 1. 4CLebesgue 测度 ) 谨 .经 一 及 , 咖 是 直线 上 的 一 切 Borel 集 
组 咸 的 5 代数 ,在 (人 党,- 知 ) 上 以 区 间 长 度 为 基础 定义 的 Lebesgue 测度 

2 如 二 B 中 不 相交 区 间 的 长 度 之 和 或 鞭 极 限 ,Y BE 过 

容易 验证 ,Lebesgue 测度 是 ve 有限 测度 , 它 可 以 控制 住 -个 定义 在 实 
数 集 及 上 的 连续 分 布 ,其 Radon-Nikodym 导数 就 是 通常 的 概率 密度 
郴 数 p(x}, 如 对 正 访 分 布 族 而 言 , 任 一 个 Borel 集 二 的 概率 总 可 表示 
为 


PLB) 一 | 1 ea 


号 v2No 
这 里 的 dr 一 jtdxr) 是 Lebesgue 测度 . 
存在 既 椒 被 计数 测度 控制 ,又 不 被 Lebesgue 测度 控制 的 分 布 族 . 


$1-1 统计 结构 


一 于 


下 面 就 是 这 样 的 例子 . 

例 1 SCMarshall-Olkin 的 二 元 指数 分 布 ) 有 了 商 个 元 件 组 成 的 串 
联系 统 可 能 会 受到 三 个 相互 独立 的 Poisson 流 Z1.2Z412; 的 冲击 . 其 强 
度 分 别 为 而, 即 在 60,5 内 忆 发 生 吉 吹 症 韦 的 概率 为 


‘4 
PZ 一 全 一 全 人 ， = 0 7 一 1,2;3 


设 元 件 受 到 第 次 冲击 就 失效 . 击溃 击 源 2; 发 生 第 -- 次 名 击 时 间 工 ; 
服从 僵 数 为 的 指数 分 布 . 即 

7 FD=1— ev, i—o 1].2.3 
叉 设 冲击 源 Z1 仅 对 第 个 元 件 冲击 ,Z; 仅 对 第 :个 元 件 冲击 ,Zs 同时 
对 两 个 元 件 冲 击 . 苦 记 两 个 元 件 的 寿命 分 别 为 立 与 了 , 则 有 

X= min(T,T,), Y= min(tf,.T,) 


可 以 算得 
下 (yy 全 已 (大 人 了 人 
一 王 [minf 了 TD min > y. 
一 下 
一 exp{— AT AsYy Amaxtz yl rr>0,y>0 
这 就 是 Marshall-Olkin 二 元 指数 分 布 , 记 为 BYECAh hi, 加 ). 它 的 联合 
分 布 隔 数 为 
Flryy) 一 1 — e Mi oo et 
二 EM ry 0 
这 样 -来 ,我 们 得 到 -个 新 的 参数 统计 结构 : 
(及 XR ,Brtyntr {BVECA dA A ER ,= 1,2,3)) 
容易 看 出 ,该 结构 不 可 能 被 计数 测度 控制 . 下 面 指 出 ,该 结构 也 不 
被 Lebcsgue 测度 控制 ,事实 上 , 按 最 先 出 现 的 冲击 源 可 将 样本 空间 
.有 一 史 - 关 玉 -划分 为 三 部 分 


Ci 一 {ZzZ. 最 先 出 现 } 一 人 zy D0 过 并 之 yy} 
cs 二 12; 最 先 出 现 ,二 = {Ty :0 vr} 
Cs 二 {1Z; 最 先 出 现 ; 二 Try : -一 3 


通过 一 重 积分 计算 得 ， 
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GD) 一 Ad 二 机 十 A 入 ) 守 品 

Pel) 二 AA 十 4) 证 0 

PCO)= 1 PG PE) /A 二 说 一 A431 让 0 
区 域 G; 是 半 青 线 , 它 的 二 维 Lebesguc 测度 为 零 , 所 以 该 结构 不 能 被 二 
只 Lebesguc 测度 控制 .但 此 桂 构 还 是 很 有 用 的 ， 


S1.2 常用 分 布 族 


在 统 寺 结构 (党 次 22) 的 三 元 素 中 经 与 :入 是 小 可 少 的 , 它 指 
出 应 讨论 凯 -类 于 件 是 有 意义 的 ,但 分 布 族 多 是 最 种 裴 的 ,也 是 统计 
结构 药 核 心 .在 概 举 论 与 数理 统计 的 : 般 栽 程 中 已 介绍 这 些 分 布 旅 ， 
它们 是 


二 项 分 布 旋 1 下 fay 户 1)0 < 疡 < 1 
Peisson 分 布 访 1 忆 (41 5 01 
井 名 分 布 族 1P0a6 一 oa 车) 
正六 分 布 族 IN(Cp,0) (Ho ERxXR|! 
这 些 妇 布 族 上 扩 其 性 质 都 被 假定 是 大 家 部 知 的 . 在 数理 统计 中 还 将 经 常 
涉及 Gamma 分 布 族 ,Beta 分 布 族 ,Z 分 布 族 ,z 分 布 族 ,多 项 分 布 族 ,多 
元 正 访 分 布 族 和 和 --- 些 非 中 心 分 布 族 , 本 节 和 将 逐个 介绍 这 些 分 布 族 . 
§1.2.1 Gamma 分 布 族 
定 人 六 .6 在 (R .: 汰 of ) 上 用 密度 函数 
pixiashy = Fe * 《1,. 2) 
表示 的 概率 分 布 称 汶 Gamma 分 布 , 记 为 Gatas4), 雌 中 必 与 4 是 两 个 
正和 参数 ,a 称 为 形状 套数 ,4 称 为 尺度 参数 ,Gamma 分 布 族 常 记 为 
ier ta,A) 了 ar0Dy AD ，， 
关于 Gamma 分 布 族 作 如 下 的 讨论 . 
1. 固定 凡 度 套数 4 时 ,改变 a 将 导 教 Gamma 密度 曲线 形状 的 改 
变 , 图 41 给 记 & 取 不 问 值 时 几 种 典 大 的 Gamma 窒 款 明 线 ;从 隔 上 可 


#1.2 常用 分 市 旗 *9. 


明显 看 出 , 当 as1 时 ,pz) 是 严 减 国 数 ; 当 1< as 时 , 户 (X) 先 上 上 册 ， 
后 下 是 : 当 a>2 时 ,bb(r) 先 下 凸 :. 后 上 上 帅 , 最 后 又 下 是 .此 时 ptx) 有 两 
个 揭 点 . 


em 
I 


图 1.1 开 神 典型 的 Gamarmma 密 皮 册 如 


2.Gamma 挛 量 三 的 点 阶 拓 为 
《aa 十 下 一 1ka 十 下 一 2 Ta 人 1 


EFEX” ~— 天 一 bed 一 天 《1. 3) 


它 的 期 望 与 方 着 分 别 为 
EX = Var(X) 一 去 1.4) 


3. Gamma 分 布 的 特征 郑 数 (0) 为 
A = (CA " 
由 此 可 以 看 出 : 若 世 一 Gage yi 一 1 2 开间 拓 , 问 相 互 独立 , 则 
其 和 为 
这 | 十 十 总， 一 ratay 十 和 十 和 和 《1.53 
这 个 性 硕 称 为 Camma 分 布 的 呀 如 性 ,这 里 应 该 强调 的 是 “尺度 参数 相 
同 * 这 个 条 件 , 失 去 这 个 条 忻 , 就 失去 了 可 加 性 . 
4.tiamma 分 布 族 有 两 个 重要 于 族 在 数理 统计 中 常 被 应 用 . 
-是 指数 分 布 族 , 存 Gamma 分 布 中 令 a 一 | 外 得 指数 分 布 , 记 为 
五 zf 即 Carl 二 cp(4). 其 密度 函数 为 : 
priA) = A rl (1.6) 


另 一 荐 这 分 布 族 , 在 Gamma 分 布 中 令 4a 一世 .一目 即 得 自由 度 


1 


| 一 太 Go) ,其 密度 西数 为 


为 二 的 分 布 , 记 为 如 GD ， 即 Ge 三, 


] 


Flin) 一 ze 0 (1.7) 


1 
2 Cn/2) 
其 中 自由 度 # 可 为 任意 正 实数 ,但 在 实际 中 常用 的 自 记 庶 xr 为 自然 数 ， 
并 为 它们 编制 了 闪 分 位 数 表 . 


$1.2.2 Beta 分 布 族 


定 久 1.7 记 放 = (0,1), 定 义 在 CD, 敌 ») 上 用 密度 函数 
0 一 (1. 8) 
表示 的 慨 率 分 布 称 为 Beta 分 布 , 记 为 Beta15), 其 小 4 与 5 是 两 个 正和 参 
数 ,Beta 分 布 族 记 为 1Befa am>00). 

关于 Beta 分 布 族 作 和 如 下 讨论 。  ， 

1. 参数 4 与 器 的 变化 将 导致 Beta 密度 曲线 形状 的 变化 ,图 1,2 给 
出 了 a 与 五 取 不 同 值 时 几 种 典型 的 Beta 密度 曲线 ,从 图 上 可 以 羞 出 
Beta 密度 里 线 训 Cr) 有 如 下 几 种 类 型 . 


PLT Pb) 一 


图 12 儿 种 典型 的 Beta 密 座 曲线 


dl 和 56 站 1,p(xr) 是 单 峰 状 ,在 工 二 《a 一 1); 0o 十 b 一 2 处 达到 最 
大 值 . 


和 1.2 常用 分 布 族 ~ 11 


a] 和 5 过 1,plx) 星 UU 形 , 在 x 一 (1 一 4)it2 一 ga 一 让 村 达到 最 小 
值 , 当 a 一 5 二 1/2 时 ,Beta 分 布 称 为 反正 莹 分 布 . 

二 1 和 一 1.Beta 分 布 就 是 (0,1) 上 的 均 急 分 布 : 记 为 Z7C0,1) , 即 
Bell,1)=U 0,1). 

as 1 和 85>1;ptx) 是 闻 减 沙 数 . 

ar] 和 B51,p(r) 是 严 增 妆 数 ， 

2. Beta 变 晨 轧 的 下 阶 算 为 

Ce& 十 1 十 上 12) 


(一 mre is a iE) 
ra + AT 十 本 .0) 
~ TayT{a+ 5+ £) 
它 的 期 望 与 方差 分 别 为 
sr 和 up 
EX HTB’ VU) atora trot “Io 
§ 1.2.3 Fisher Z 分 布 族 
定 兴 1.8 定义 在 (BR1+ ,n+) 上 用 密度 函数 
p(xiab) = Hee 7 《1,11) 


TIT) (1 十 
表示 的 概率 分 布 称 为 Fisher Z 分 布 ,简称 之 分 布 , 记 为 Z(ta,5), 其 中 必 
与 # 是 两 个 正 参 数 ,Z 分 布 族 记 为 {Z (as6) :40.5>0}., 

关于 了 分 布 族 作 如 下 讨论 . 

i， 参数 a 的 变化 将 导致 Z 分 布 密度 曲线 形状 的 变化 ;图 1. 3 给 出 
了 ua 取 不 同 恰 时 几 种 典 现 的 Z 分布 密度 曲线 ,从 图 上 可 以 看 出 , 当 
a<s1 时 .pzr) 是 严 减 郴 数 ; 当 c>>1 时 ,az 是 单 峰 函数 , 旦 在 x 一 
(aa- 370 十 1) 处 达到 最 大 值 . 

2.2Z 分 布 的 上 & 阶 抵 为 


Da 二 一 
PA EE DB Ry 


它 的 期 户 与 方 莽 分 别 为 
妊 
E(t 革 ) 一 Fi 全 | 


中 < 看 (1. 12) 
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图 1.3 天 种 典型 的 2 分 布 密度 曲线 
ata 十 而 一 1 


VarlX )=— 


Bg 2 (1.13) 


3.7 分 布 与 Beta 分 布 之 间 的 关系 . 容易 验证 : 

车 六 ~ BetasBb) ) 则 Y=X/(l 一 XX)~Z aD), 

车 E~Z ab) ;YY 二 XA 二) ~ Bela,b). 

4.Z 分 布 与 记分 布 之 间 的 关系 .车 半 一 Za/2;ms12), 则 和 容易 导出 
了 一 (mana 的 密度 区 数 为 


Tr nl 十 ns 4 
Plysnivnal 一 2 本 2 
ri 和 ri 人 | 
21 2 
yi! _ 
a" YT (1. 14) 
?2 


这 就 是 自由 度 为 和 ;的 下 分 布 , 记 为 Flm4,n2a), 它 的 央 望 与 方差 分 
别 为 


ph Ns > 2 《1. 15) 


2nz Cn 十 ns 一 2) 
WiC 2) 一 和) 
自由 度 #, 各 x; 均 为 自然 数 时 的 天 分布 是 常用 统计 分 布 之 一 , 特 
编制 了 玉 分布 分 位 数 表 . 图 1.4 纵 出 孔 称 下 分 布 密度 阴 数 曲线 . 


ECY) = — 
Fa 一 


Var{Y) = nn 4 (1. 16) 


§ 1.2 党 用 分 布 旋 " 13- 
图 1.4 几 种 下 分 布 密度 曲线 
$$ 1.2.4 :分 布 族 
定 光 1.9 定义 在 (了 及 ,名 as) 上 用 罕 度 函数 
pixa) = 一 | nl | (1.17) 
wa 二 : 


表示 的 概率 分 布 称 为 自由 度 为 <a 的 分 布 , 记 为 fie), 参数 a 为 正 实 


数 ,t 分 布 族 记 为 ta) : a>>0). 
关于 上 分 布 族 作 如 下 讨论 ; 


1 分布 的 密度 曙 数 是 村 郴 数 ,比较 它 的 医 次 就 可 看 出 :自由 度 为 
aa 的: 分布 只 存在 低 于 ax 阶 矩 ,又 由 于 上 分 布 的 密度 函数 是 侦 函 数 , 故 


存在 的 奇数 阶 抵 为 零 , 即 

Et 一 0， 距 十 1<a 
2 r+ 
“fl 


Vartrt*) 一 3k 


它 的 期 望 与 方差 分 别 为 


(‘1.18) 
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性 


ED =D, Vart) 一 EC = 一， (1.19) 

2.+ 分布 的 密度 冰 数 形状 是 "中 间 贾 ,两边 芍 . 大 布 对 称 ”( 网 国 

1.5) ,很 僚 下 态 分 布 密度 冰 数 $C7) 一 (2x) 二 exp1- mm52) 特别 当 a> 
5 时 ,有 

limptxr ,a) ~— $ir) (C1. 20) 


图 1.5 04) 与 NC,1) 的 密度 有 昌 线 
事实 上 ;利用 Stirling 公式 可 以 算得 


PP| < 十 了 | 
lim 2 | -1 _ 
和 Var 
另外 ,由 常 册 的 摄 限 公 式 可 得 
, ,| r a 
i XR” 
Lim: 上 a | lim | | 1 十 可 | | 忆 2 


综合 上 述 即 证明 了. 20) 式 .实际 上 . 当 a>30 时 常 月 标准 正 沪 分 布 来 
代 兰 分 布 , 表 1.1 列 出 a 取 不 同 什 时 :分 布 密 嵌 基 数 的 最 大业 p00; 
go) 与 方 英 的 值 ,它们 分 顷 与 标准 正 态 密 度 汐 数 的 最 大 值 $8(0) 二 0. 3989 
与 方差 1 已 很 接近 了 . 
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表 1. 1 :分 布 密度 函数 野 大 慎 (0:o) 与 方差 Varir) 随 a 的 变化 


站 2 4 6 10 20 3 


DO- 39d0 .36 


i .Dr 


3.7 分 布 与 标准 正 态 分 布 之 间 的 微小 差别 总 谎 发 现 的 呢 ? 有 和 什么 
价值 ? 1 分 布 是 英国 哥 蹇 特 (Cosset, 到 . S, 1876 1937) 在 1908 年 提出 
的 ,Cossct 年 轻 时 在 英国 牛津 大 学 学 习 数 学 与 化 学 . 1899 年 在 一 家 本 
酒 广 任 酿 洒 化 学 技师 .从事 试验 和 数据 分 析 工 作 ,这 项 工作 使 他 对 误差 
有 大 芋 的 域 性 认识 ,Cosset 清楚 地 知道 ,在 已 据 总 体 均值 jg: 和 标准 差 a 
时 , 则 样本 均值 总 的 分 布 将 随 着 样本 容量 = 上 增 大 面 越 来 越 搂 和 近 正 态 分 
布 ,但 Cosset 在 试验 中 遇 到 的 样本 容量 都 不 大 ,一 般 只 有 5 个 ,他 对 每 
个 样本 分 别 计 算 XX,S 和 z, 其 中 


又 工 Y :一 1 Se alr A) 
一 2 i TT)， 上 一 


从 而 获得 大 量 * 的 观察 值 ,发 现 其 在 (一 1,1):( 2.2) 一 3;3) 内 的 频 
率 0. 626,0.884,0.960 与 入 (0,1) 在 这 些 区 间 上 的 概率 0. 683,0. 995 ， 
0. 997 相差 较 大 ,十 是 他 怀疑 是 否 还 存在 -- 个 不 属于 止 态 分 布 族 的 其 
它 分 布 , 他 下 决心 研究 这 个 问题 .在 1906 到 1907 年 期 间 还 去 伦敦 大 学 
学 习 统 计 方 法 ,与 老 皮 尔 逊 ( 民 . Pearson. 1857 一 1036. 他 的 儿子 下.S. 
Pearson 也 是 著名 统计 学 家 ,被 人 们 称 为 小 皮尔 过 ) 共 同 讨 论 , 靠 着 他 
的 敏锐 和 直觉 ,终于 每 到 新 的 密度 函数 曲线 ,并 在 1908 年 以 “student” 笔 
名 发 表 此 项 丫 果 ,上 故 后 人 称 此 分布 为 “学 生 氏 分 布 "或 入 分 布 ”. Cosset 
作为 统计 党 的 新 手 , 裔 然 提 出 一 个 内 新 的 分 布 入 党 要 湖 气 的 . 在 当时 ， 
正 态 分 布 被 看 作 是 “万 能 分 布 * 的 时 代 里 ,代表 统计 学 最 高 水 平 的 老 皮 
尔 避 只 研 究 大 样本 问题 ,他 认为 ,小 样本 是 与 统计 靖 神 相 韦 缘 的 ,是 危 
险 的 人 答 疝 . 在 这 样 的 气氛 下 ,it 分 布 没 有 被 处 容 所 理解 和 接受 ,只 在 
Cosset 的 酿酒 公司 里 使 用 . 过 一 段 时 间 后 ,英国 男 一 位 著名 的 统计 
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学 家 Fisher 在 他 的 农业 试验 中 也 过 到 小 样本 问题 ,发 现 : 分 布 有 实用 
价值 ,直到 1923 年 ,Fisher 给 岂 严 格 而 简单 的 推导 1925 年 又 编制 了 + 
分 布 表 语 .Cosset 的 小 样本 方法 才 被 学 术 界 承认 .并 多 得 迅速 传 播 ,发 
展 和 应 及, Cosset 的 1 分布 打 于 了 人 大 们 的 思 有 踏 , 庆 创 了 小 样本 方法 的 研 
究 , 这 … 鼎 有 趣 的 历史 的 更 详细 材料 可 参考 文献 “1. 

4. 自由 度 为 1 的 ;分布 称 为 柯 西 (Cauchy) 分 布 ,其 密度 泪 数 为 


px) = A RE 《1. 21) 
它 的 更 -- 般 形式 是 
疡 (了 56) 一 


, 8 
区 [本 十 《fr 一 在 323] 
其 中 一 oa<co .DCauchy 分 布 以 它 的 期 望 与 方 凑 都 不 存在 而 著 
名 . 


TER {1. 22) 


§1.2.5 和 甸 项 分 布 族 


多 下 分 布 是 量 重 要 的 多 维 离散 分 布 , 当 把 一 个 总 体 按 某 种 属性 分 
成 有 限 类 时 就 会 寂 及 这 个 分 布 . 它 产生 于 以 下 的 ”次 独立 重复 试验 模 
型 ， 

1， 答 次 试验 可 能 有 7r 种 结果 :4 ,A 并 有 是 了 (A) 二 pisi 二 
yr 十 二 一 上 

2 上述 起 验 独 立志 重复 革 钦 ,所 得 结果 可 用 某 些 4 组 成 的 长 汐 半 
的 序列 表示 . 

3. 在 上 述 n 次 独立 重复 试验 中 ,以 及; 表示 4.1 一 1.… sr 出现 的 
次 数 , 刚 (xX,…, 关 ,) 居 7 维 随机 变量 ,在 # 议 试验 中 A 出现 msi 二 1， 
次 的 概率 为 

ni 


PLX)L Ni oA) CO - pein pr (1. 23) 


1 -nl 
其 中 天 十 二 nn. 一 ns 请 1; 实 0, 这 就 是 多 项 分 布 . 记 为 Mtn pis"* pr》， 
当 了 二 2 时 .多 项 分 布 就 退化 为 二 项 分 布 芭 Cn， 户 . , 韦 :) 二 bn; 思 1). 
多 项 分 布 Ms 让 ez) 的 任 一 边际 分 布 仍 是 多 项 分 布局 如 以 
六 | 鸭 例 ; 它 可 联 0,1,… sn 中 和 在 一 个 全 . 由 边际 分 布 冒 六 可 知 ， 


41.2 常用 分 布 族 197 。 


， ， 天 | 中 昌 
站 一 了 2 mil Pip ni = 
i 
车 今 
rf 
PA: 1 -— pi i 1— pi 


则 有 户 :一 一 十 p', 二 1; 著 拒 上 式 疏 写 为 
PIX = | DD pp 


XX 
Anal! ， 


ry 


nl 和 | 
| pil pA.) | 


ntn 


其 中 第 . -个 括号 内 的 和 恰好 是 多 项 式 (p' 和 十 … 十 p',) “的 展开 式 , 故 
其 利 为 1 ;第 二 个 括号 内 怡 好 说 明 蔷 | 的 边际 分 布 是 一 项 分 布 Btn,p1). 
这 相知 十 把 每 次 试验 看 作 只 有 两 个 可 能 销 果 :4 和 Al 一 As -… 
U 4,,. 次 独立 重复 成 验 中 44 出现 ma 次 的 概率 为 忆 ( 瑟 一 )》. 

类 似 地 ,于 | 与 和 的 边际 分 布 是 MM 二 G5:7) ;其 中 py 二 1 
户 一 访 : 这 相当 于 把 每 次 试验 看 作 只 要 三 个 可 能 站 果 :4， AssA1U A 
一 4rzz24) 次 独立 重复 试验 中 4 册 山 nn 次 ,有 AA; 出 现 2 
次 Gx 二 xs 二) 的 概率 为 

PIRI Mi, CO fn) 


nl! 


五 一 习 。 一 如 


Pupil cp py 


A1121 (na — ne)! 
这 表明 【证 一 Ca pi petl— pm ps). 
§ 1.2.6 多 元 正 态 分 布 族 
下 击 我 们 几 逐 步 扩 充 (《 由 单 无 到 赂 元 ,由 独立 到 析 关 ,由 非 奇 措 到 
奇异 } 的 方式 给 出 多 元 正 态 分 布 的 定 闵 . 
上 设 随 机 变革 


{~ $n) 一 le 人民 


v 2r 
则 有 (7) 二 0, Var6D 一 1 此 时 称 U 服 从 标准 正 态 分 布 , 记 为 
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NC(0,1). 容易 算得 ,于 任意 实数 x 和 正 实数 go, 有 


Xp 一 op le Se. rER 
了 

并 且 ECX) 一 上 ,Var(X) 一 ,这 时 称 随机 变量 萤 服 从 期 望 为 ,方差 为 
下 的 正 态 分 布 , 记 为 让 一 MCA)， 

2.， 设 本 (请 了 一 NO,1), 且 相互 狂 立 , 则 

U ~ pi) = pl sist) — Com) ie 

自 EV) 一 0,Vart0) 一 1,, 这 时 称 U 服从 期 误 为 0. 协 方 凌 阵 为 瑟 的 nn 
元 标准 正 态 分 布 , 记 为 U~N.(0,1.), 这 里 下 标 n 表 水 分 布 的 维 数 . 

久 设 #8 一 Cn sfj) 是 常数 向 量 ,是 一 个 nXn 有 阶 正定 阵 , 由 正 
定性 知 , 存 在 这 样 的 非 奇 异 = 阶 方 阵 4, 使 得 = AA', 于 是 三!1= 
4 =|41- ,|41-' 二 |5| 过 考察 随机 向 量 

= (KR) = 十 AU 

可 求 得 天 的 联合 密度 函数 为 


xy = (arn) 全 | 王 ae xER (0.24) 
并 且 E(X)?= 一 5 Vartt) 一 这 时 称 下 服从 期 望 向 量 为 4; 协 方差 阵 为 
主 的 非 奇 ( 旧 旭 化 ) 多 元 正 态 分 布 , 记 为 于 一 NN,(:). 

3 为 了 把 非 奇 多 元 正 态 分 布 推 广 到 更 一 般 的 情形 , 即 推广 到 协 方 
差 阵 是非 负 定 情 形 , 此 时 再 用 密度 明 数 工具 已 不 行 了 (因为 这 时 全 ' 
不 存在 ) ,因而 我 们 要 转 用 特征 欧 数 工具 .为 此 我 们 先 计 算 在 王 为 正定 
场合 下 密 元 赣 奇 正 态 分 布 的 特 钙 函数 ,对 任意 的 向 是 1 一 (7s ,E>》 

CD 一 Ee 一 eeEee 人 g 
令 fA4 二 gq 一 (qs,"… ,aq1) 于 是 


一 下 作 一 由 1 一起 
本 


所 以 
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二 | (1. 25) 

我 们 注意 到 ,在 上 上 述 计算 过 程 中 , 仅 用 了 性 质 2 一 44' ,而 这 个 性 质 
不 公正 定 阵 其 有 :即使 王 是 非 抽 定 阵 ,也 其 有 这 个 性 原 , 差 别 仅 在 于 妹 
已 木 是 非 奇 的 了 .但 这 并 不 影响 六 (9 仍 作为 某 -个 分 布 的 特征 函数 . 
譬如 .当主 是 非 负 定 阵 时 ,考察 一 个 矩阵 序列 


太一 十 二 1 二 1,2. 


fxtt) = exp lit'H CO— 


对 任意 的 自然 数 上 , 互 是 正定 的 . 于 是 具有 期 望 向 角 为 WH; 协 方 差 阵 次 
五 的 多 元 正 态 分 布 Np 五 ) 是 非 奇 的 ,其 特征 冰 数 


ft) — exp if 一 Fe Zt | 
因为 
ff) = limf,d) 一 exp itp 一 bra 
Re 2 , 


是 连续 函数 ,根据 唯一 性 定理 ,fx 0 一定 是 基准 分 布 的 特征 旺 数 ,这 
样 的 分 布 今 后 称 为 奇异 退化 #4 元 正 态 分 布 , 仍 记 为 N,t4,2) ,一切 非 奇 
的 和 麻 异 的 多 元 正 态 分 布 遂 称 为 几 元 正 态 分 布 . 这 样 一 来 ,我 们 措 助 十 
特征 丽 数 完成 了 风 元 正 态 分 布 的 定义 . 
定 光 1 1 设 久 = CX,…, 尺 .)' 是 一 个 如 维 随 机 向 量 , 且 
EN) 一 上 实 向 量 ) ,VYartX) 二 (正定 阵 或 非 负 定 阵 3 
假如 它 的 特征 隔 数 为 
人 = exp |it'p — Fe | 


则 称 考 泡 m 元 下 态 随 机 向 量 ( 或 称 为 Gauss 随 册 辐 芋 ) ,其 分 布 称 为 于 
元 正 态 分 布 , 记 为 二 一 No 下 ,而 竹 阵 上 的 秩 Rank (2) 二 r+ 称 为 这 个 
分 布 的 秩 . 

在 这 个 定 闵 中 , 当 Rank {如 一 x 寺 , 针 具有 韭 辣 nn 元 正 态 分 布 .其 
密度 也 数 如 (1.24) 所 示 , 调 当 Rank( 让 一 r<n 村 ,出 于 于 1! 不 存在 ;从 
而 沪 有 密度 岗 数 , 那 么 秩 为 上 的 奇异 站 元 正 态 分 布 到 底 是 什么 东西 呢 ? 
为 了 四 答 这 个 问题 ,我 们 需要 借助 于 矩阵 枯 数 的 县 . 
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根据 窃 隆 代 数 知 识 , 对 笠 为 上 的 非 负 定 阵 ,可 以 找到 一 个 正 交 阵 
4, 使 得 


i'D, “4 


三 = 4| 
站 1; 
其 中 避 :=diagftu 4 是 了 阶 对 角 息 阵 , 且 对 角 线 上 的 元 喜 就 是 三 的 
"个 非 零 特征 根 . 令 太一 (6h),8 一 A 二 A 上 共 中 是 nxXxr 阶 
阵 ,4: 是 2xftn 让 阶 述 .8 与 Y 是 nn 维 列 向 量 , 于 怀 
tu= YO = Yi0 + Yd, 
DD 0 
5 一 | |> = YDY. 
0 0 
其 中 六 = 人 一: 史 与 和 页 为 > 维 询 向量 ,因此 闫 元 正 
太 向 量 革 的 特征 函数 可 改写 为 


fult) = exp {iY 站 一 了 Do 十 iy' 0 


另 一 方面 ,其 令 
= A'X, 二 4 ,1 为 7 维 列 向 量 
由 于 台 是 正人 冬 阵 .可 得 
fxlt) = Eesti 一 Fer 一 Feiy 一 $0) 
所 以 有 


fF) 一 exp|i 8 一 3Y DY + iY',0. | 
此 趟 对 一 切 YER* 都 成 立 . 根据 特征 函数 的 唯一 生 定 下 ,上 式 表 上 明 随 
机 容量 y 二 3 相配 独立, 并且 
yi NB ,DD) 
Plys = A)=1 
即 y; 的 分 布 是 进化 的 ;而 3 的 分 布 基 非 奇 > 元 正 态 分 布 , 并 且 这 两 个 
随机 商量 相互 独立 ， 
根据 前 面 的 叙述 ,其 有 非 奇 > 元 止 态 分 布 N,(6,D,) 的 随机 向 音 yy 
与 6. 十 DIU 具有 相同 的 分 布 ,其 中 ~N, (0, 世 ) 于 是 从 
让 二 Ay 一 Aly) 十 A ys 
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可 以 看 出 ,XX 与 4| 6, 十 D2U| 十 4zb 具有 相同 的 分 布 ,而 后 者 可 以 改写 为 


pg 二 BU. 其 中 慷 一 ADY 是 axXr 阶 的 列 满 秩 阵 ,这 样 我 们 就 证 明了 如 下 事 
实 : 对 于 任 -个 光正 态 向 量 X 一 (XX,) 一 NN, Gp, 号 ;假如 Rank 
(号 二 ,那么 .- 定 能 找到 这 样 一 个 zxr 阶 的 列 满 佚 的 夭 阵 号 ,使 得 下 与 4 
十 BU 具有 相同 的 分 布 ,其 中 已 一 N, (0, 工 ) ,并 且 这 个 命题 的 道 命题 也 显 
然 成 立 的 .这 样 一 来 我 们 就 得 到 了 一 个 与 定义 1. 11 等 价 的 定义 

定 沁 1.11 如 果 一 个 呈 元 随机 商量 不 一 (9 ,XX 与 8BDU 具 
有 相同 的 分 布 ,其 中 几 是 一 个 上 维 常 向 量 ,中 是 一 个 秩 为 > 的 一 个 zaXr 
阶 阵 ,0 一 N,(0,1,) ,那么 称 筷 是 少 元 正 态 向 量 , 其 分 布 称 为 上 元 正 态 
俘 布 , 记 为 于 一 Nth, 中, 一 BB' ,而 7 称 为 这 个 分 布 的 秩 . 

多 元 正 态 分 布 的 基本 性 质 主要 有 : 

1. 多 元 正 态 变 量 的 线性 变换 仍然 是 多 元 正 态 变量 ， 

2 过 元 正 态 分 布 的 低 维 边 际 分 布 仍然 是 多 元 或 一 元 的 正 态 分 布 ， 

3， 两 组 多 元 正 态 变量 相互 独立 的 充 要 条 件 为 其 协 方差 阵 的 非 对 
角 元 素 全 为 鹤 . 

4. 在 多 元 止 态 变 量 中 ,一 部 分 变量 给 定 的 条 件 下 , 另 一 部 分 变量 
的 条 件 分 布 仍 为 正 态 分 布 . 

这 些 性 质 都 可 在 本 章 的 习题 中 找到 .只 期 望 读 者 自己 去 证 明 一 下 . 
这 里 仅 对 一 元 正 态 分 布 作 一 些 说 明 . 

设 于 二 (X., 久 ,)' 具 有 二 元 正 态 分 布 , 且 


EVA 
| pe 【及 Pad 0 
其 中 一 Var(X,) ,i 二 1 ,2,0 二 CovCXI YA (0 6) 000. 

显然 , 协 方差 阵 三 是 非 奇异 的 充 要 条 件 为 oz 天 0 且 |p|< 寺 1. 具有 
ooz 天 0 由 pl<il 的 二 无 正 态 分 布 的 联合 密度 函数 为 


El | A | o; PE10e 入 
' 


| 
2 


] 1 1 一 外 1 
(rT) 一 eX | ， | | 
PT - 2n90s v1 一 eo 了 2 一 让 |L Tl ! 


2 A 一 和 1 | (二 i | | Ta EE 及: 


人 Fz 


(1.26) 
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常 记 为 Cr roO~ Ni Ao ,oF 0}. 

当中 一 9 时 ; 邮 有 证 | 汪 p NCpar02); 且 | 与 革 ; 独立 . 

当 6 = 一 0 时 . 则 及; 寺 py 革 一 Cr) , 叶 XX, 与 广 : 独 立 . 

当 gg 了 产 0 而 1p1 二 1 时;(X1, 芝 ;) 仍 无 联合 帘 度 湖 数 可 言 ,而 茜 克 
量 以 概率 1 集中 在 如 下 一 条 固定 的 直线 上 . 

pt 

或 者 说 ,区 | 与 天; 线性 相关 的 概率 为 1. 

当 一 0 二 0, 这 时 规定 2 一 0 是 合理 的 ,而 (Xi,XX,) 和 集中 在 一 点 
(p11 pz LL. 

另外 , 当 P=-0 时 .和 与 夸 * 独立 .友之 亦 然 .这 在 一 般 场 合 下 不 成 
立 , 最 后 ,在 非 奇异 条 件 下 容易 算得 如 下 条 件 分 布 


KNXs = x Nm +t ps — sm),0f1 — 7) C1. 27) 


RMT 一 和 et 一 | 
' 1 


§ 1.2.7 几 个 非 中 心 分 布 族 
定义 上 .12 定义 在 {R? ,Nrn+] 上 用 密 麻 函数 


一 了 
已 


priasy) = 


m= 


表示 的 概率 分 布 称 为 非 中 心 Gamma 分 布 , 记 为 Catash4:y7) ,其 中 pe 
(Cr52 十 ia 为 Gamma 分布 Gata 十 加 ;4) 的 密度 也 数 .x,4 是 两 个 正 实 
数 ,7 为 非 负 实数 ,a 和 4 仍 分 别称 为 形状 参数 和 尺度 参数 ,7Y 称 为 非 中 
心 参数 ,这 里 规定 0" 一 1. 

显然 , 当 7 一 0 时 , 非 中 心 Gamma 分 布 就 退化 为 - 般 的 Gamma 分 
布 , 即 Cataya,0) 一 Ca 


当 & 二 #12 和 和) 一 172 时 , 非 中 心 Gamma 分 布 称 为 中 心 好 分布 ， 
记 为 知人 力 一 Gd| 二 ,二 ,7| ,显然 ,7 一 0 时 , 非 中 心 分 布 就 退化 为 


一 般若 分 布 , 即 Yin.3) 一 XY?(n1, 


a 十 pr ,AY) 1.28) 


nm 
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不 难 算出 非 中 心 Gamma 分 布 Galta,4,7) 的 特征 函数 为 
下 (CE 一 [ep 1 ayA YI dr 
自 


3 ey™ Xt™ 
m! Fla m) Je™ 


站 十 mn 一 1 Ear 


一 本 
由 此 特征 函数 形式 就 可 看 出 ,在 尺 订 参数 1 相同 的 条 人 性 下 , 非 中 心 
Gamma 分 布 具 有 可 加 性 ; 即 若 ~GateyA,71) xs 一 Getas ys)y 且 
及 ,与 及 ; 相互 独立 ; 则 况 | 十 六 ;一 Ga ta 十 ;A771 十 3)， 

定义 1.13 定义 在 (及 ,用 se) 上 用 密度 函数 


2 

2 

pixrsn#) = 5 Ei 
Var| | te 
ym r 三 地 
ST “ttl 2 C1. 29) 
m0 mil, vn 十 


表示 的 概率 分 布 称 为 自由 度 为 n 的 非 中 心 :分布 . 记 为 :Cn,7), 其 中 
为 非 负 实数 , 称 为 非 中 心 参 数 , 特别 , 当 7Y=0 时 , 非 中 心 : 分 布 就 退 北 
为 一 般 的 分 布 , 即 1(n,0) 一 tn). 


8 1.3 统计 量 及 其 分 布 


让 一 个 实际 问题 归纳 出 的 统计 结构 ( 襄 ): 泡 ,. 安 ) 中 ,名 和 表 常 可 
确定 ;而 在 可 浏 空间 《30, 索 ) 上 用 什么 分 布 忆 去 拱 述 尚 不 确定 . 但 我 们 
可 知道 己 属 于 某 个 分 布 族 ' 安 ,至 于 多 中 哪 一 个 分 布 最 适合 还 是 不 知 
道 , 要 解决 这 个 问题 ;就 要 从 样本 空间 抽取 样本 ,凭借 样本 中 的 信息 对 
总 体 分 布 作出 判断 ,这 就 是 统计 推断 要 研究 的 问题. 
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31.3.1 统计 量 


样本 中 含有 总 体 信息 ;但 较为 分 散 , 一 般 椒 宜 直 楼 败 于 统计 推断 ， 
常常 是 把 样本 中 的 信息 加 工 处 理 ; 用 样本 的 熙 数 形式 集中 起 来 ,这 类 样 
本 函数 在 统计 中 称 为 统计 量 , 然后 用 统计 量 去 作 各 种 推断 ,下 面 先 给 出 
统计 量 的 -…- 般 定义 ， 

定 久 14.14 设 ( 了 ,把 如) 是 一 个 统计 结构 ,了 一 7 lz) 是 从 可 漠 
宝 间 tC 从 .如 到 (CF, 次) 的 一 个 可 测 映 照 , 想 荐 这 个 映照 荆 不 依赖 于 
分 布 族 溉 , 则 称 代 为 此 结构 上 的 统计 量 ,假如 . 安 为 参数 分 布 族 {Pi :8 
EB}, 则 不 依赖 于 参数 8 的 可 测 映 照 荆 称 为 此 结构 上 的 统计 量 . 

在 统计 中 样本 空间 常 为 上 维 欧 氏 空 间 , 即 .经 一 R ,而 统计 量 了 的 
值 域 2 常 为 一 维 欧 氏 空间 , 即 ==R, 这 时 统计 董 就 是 不 依 束 于 分 布 
族 ( 或 不 依 琅 于 参数 ) 的 可 测 函 数 ;假如 值 域 了 一 R*, 这 时 统计 量 就 是 
不 依赖 于 分 布 族 ( 或 不 依赖 于 参数 ) 的 上 个 可 测 画 数 , 即 TT(X)= 
(TXT 称 为 商量 统计 量 . 实际 中 主要 使 用 这 两 种 统计 
基 ， 

在 定义 1.14 中 规定 “不 依赖 于 分 布 族 ?或 “不 依赖 于 参数 ?是 为 了 
得 币 样 本 扎 观察 值 x 后 能 立即 算得 统计 量 了 (XO) 的 值 了 (tr) ,而 不 爱 总 
体 分 布 尚 本 知 的 影响 . 璧 如 从 某 样本 空间 X= 二 R" 中 抽 得 一 个 样本 四 = 
(ZX 那么 


二 1 
样本 均值 一 2X 


样本 方差 S; 一 之 了》) CX 一 有》 
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样本 峰 度 二 一 二 一 一 一 一 一 3 
[> 


等 都 是 重复 抽样 结构 (R", 3,32z")? 上 的 常用 统计 量 . 而 
Dx — ECX))’, D Xe VartX) 


等 都 不 足 统计 量 ， 因为 总 体 尚未 定 下 之 前 总 体 均 值 下 (和 ) 和 总 体 方 差 
VartX ) 都 是 未 知 的 ,此 时 就 是 己 知 样本 观察 值 也 无 法 具体 算出 它们 的 
值 . 从 而 也 无 法 进行 统计 推断 . 
在 定义 1. 14 中 还 强调 “可 测 性 ” 这 是 为 了 保证 在 以 后 遇 到 与 统计 

重耳 有 关 的 事 忻 时 ,总 起 有 概率 可 言 的 . 如 在 如 下 的 映照 中 

TE) 
谈论 概率 都 要 涉及 分 布 族 侈 ,在 统计 结构 中 虽然 分 布 尚未 确定 ,但 对 so 
代数 :区 中 任 -个 元 素 B( 宫 的 茶 个 子 和 集 ,; 或 称 为 事件 ) 都 可 谈论 松 率 
P(EB). 假如 映照 工 是 可 测 的 (严格 的 说 是 完 吕 测 ). 那么 对 o 民 数 客 
中 和 任 .个 元 素 忆 的 原生 

TriC) = {xr: T(t) EC .30 
一 定 是 oz 代数 :关中 的 元 素 , 辟 如 说 是 ,那么 事件 

“T EC HzrE TC 一 万 ” 

是 等 价 的 . 它们 发 生 的 概率 应 该 相等 .因此 在 可 测 性 的 要 求 下 就 可 谈论 
“TEC*” 的 概率 . 至 于 如 何 把 概率 P(TEC) 计 算出 来 那 是 在 “抽样 分 
布 " 一 节 中 再 作 讨 论 . 这 里 规定 可 测 性 就 是 排除 那些 映照 下, 使 得 原 你 
Tc) 不 属于 多 . 实际 中 ,多 数 的 函数 都 是 Borel 可 测 函 数 . 可 油性 是 
一 项 很 宽松 的 要 求 ,但 也 是 一 个 界限 . 帮 在 理论 上 从 可 测 性 来 看 竺 统计 
量 是 很 重要 的 , 必 不 可 少 的 ,不 是 任 一 个 样本 函数 都 可 用 来 作 统计 量 . 


$ 1.3.2 抽样 分 布 


统计 量 的 分 布 称 抽样 分 布 ,或 称 诱导 分 布 , 它 在 研究 统计 量 的 性 质 
和 评价 “个 统计 推断 的 优良 性 等 方面 十 分 重要 . 近代 统计 学 的 创始 人 
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之 一 ,英国 统计 学 家 R. A, Fisher 曾 把 抽样 分 布 ,参数 估计 和 假设 检验 
到 为 统计 推断 的 三 个 中 心 肉 容 . 因此 寻求 抽样 分 布 的 理论 与 方法 应 十 
分 重视 . 

设 荆 是 从 ( 沈 , 吕 , 食 ) 到 (FF , 客 ) 上 的 一 个 统计 基 . 它 是 样本 半 的 
函数 .因此 对 分 布 族 . 沁 中 每 一 个 分 布 呈 都 可 确定 统计 量 工 的 一 个 分 
布 . 实际 上 ,对 任意 的 CE, 概 率 


PTCr) EEC) 一 | dP 


人 Te 
= | dP = P(T 1(0)) (1. 31) 
Ty 


这 就 是 统计 量 工 的 分 布 , 记 为 P”, 即 

PC = POTTHCN), WCEW 
容易 验证 :这 样 定义 的 P' 是 (3 , 客 ) 上 一 个 概率 测度 . 事实 上 ,P” 的 
非 负 性 与 正则 性 是 显然 的 ,下 面 验 证 P” 的 可 列 可 加 性 . 设 iCi} 是 客 中 
一 个 互 不 相 容 事件 列 , 则 总 有 


PT UC) = P{T-!{ UC) = P( UT 性 人 


= 》) PITTICD) = >》 PICCD 
这 个 结论 对 分 布 族 受 中 每 一 个 分 布 已 都 成 立 . 从 而 我 们 利用 统计 量 
工 可 以 诱导 小 男 一 个 统计 结 攀 
(CF) 其 中 守 " 二 {PT1Pe 沪 ) 

这 个 统计 辣 构 称 为 了 的 请 导 结 构 , 人 2 称 为 诱导 分 布 族 . 

还 可 证 明 : 当 原 结构 是 可 控 的 ,那么 诱导 结构 也 是 可 控 的 . 即 要 证 
明 ; 假 如 实生 4 是 (地 ,名 ) 上 的 5 有 限 测度 , 则 人 "J, 其 中 民 是 
用 工 从 py 引出 的 诱导 测度 . 首先 ,容易 看 出 ye 也 是 (2 . 鹤 ) 上 的 有 
限 测 度 , 其 次 ,对 x 的 零 测 集 六 , 即 上 所 一 PT ION 7) 一 0 由 此 可 以 推 
导 得 


PO ND = 0,TD,P CN) 一 0， YPEY 
这 就 表明 :22 福 A ,这 也 表 团 : 源 结 构 具 有 概率 密度 钞 数 ptr) 一 dP /dp 那 
么 诱导 结构 也 具有 概率 密度 函数 pC) 二 dP" /dyr ,这 也 就 是 统计 量 了 
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的 概率 窗 上 度 函 数 , 特 别 , 原 结构 是 参数 结构 , 且 有 概率 密度 函数 p(x; 
2) ,那么 诱导 结构 也 是 参数 结构 ,统计 量 的 概 座 密度 国 数 疡 (的 也 依 
束 于 参数 9 

在 有 具体 寻求 统计 量 了 的 分 布 时 ,主要 送 用 (1. 31), 在 .党 为 歌 氏 空 
间 和 分 布 旋 多 被 Lebesgue 测度 所 控 的 情 沉 下 , (1.31) 式 可 改写 为 
Lebesgue 积分 ， 


PftK}y EC COS | plxidr 《1, 32) 
tr TOY? 


进一步 简化 (1. 32) 就 要 看 统计 量 了 的 特征 了 . 一 般 说 来 ,人 (1.32) 表 未 
的 多 重 积 分 只 在 不 多 的 场合 下 才能 进一步 简化 ,又 在 很 少 场 合 下 才能 
算出 明 丝 表达 式 , 在 不 能 算出 明显 表达 式 的 场 台 ,可 以 用 数值 积分 法 获 
得 近 亿 分布 (用 分 布 函数 表 列 出 ). 但 众所周知 .在 三 维 以 上 的 数值 积分 
常 不 能 准确 .下 面 我 们 列 出 几 种 特殊 场合 的 一 些 结果 ， 

1. 荆 是 一 维 统 计量 . 

访 工 二 了 (Xi ;及 .), 则 其 分 布 沙 数 为 


Fr) PUTCOX eK St) = 区 aerodardz 
bb 


其 中 积分 城 品 二 ry) TCriorsgT4) 坟 t 蚌 1 维 欧 氏 空间 的 一 
个 子 集 , 假 如 工 (Xi 总) 是 可 微 画 数 , 甩 其 梯度 的 模 为 正 , 即 


1 亚 如 i 2 
gradT (x pt) 1 一 
1 > | 2 | 
则 工 的 密度 函数 可 表示 为 如 下 nn 一 1 维 曲 面积 分 


ds, | 
Pr | je | gradTGr za) 人 
其 中 积分 域 为 方程 了 TCzri…zo) 一 上 所 决定 的 ”一 1 维 曲 面 Si. 
2. 了 了 是 上 维 统计 量 (E<<m)， 
设 了 一 (Tv 7 ,其 中 
了 一 了 ij( 且 1) 一 ] 
是 上 个 可 测 函 数 ; 则 (TL ,7 的 联合 分 布 医 数 


‘1. 33) 


x 
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下 六 (Toy ss 

t | ， | 上 

其 中 积分 域 厂 一 160rzro 人 (x yz) 挝 tj 一 1 .六 为 n 维 
欧 氏 空间 中 的 -- 个 子 集 , 若 了 IT ,TT% 是 可 微 钞 数 ,; 则 民生 Ti) 的 联 
合 密 度 曙 数 吕 表 法 为 如 下 nn-- 维 晶 面积 分 


a ||... AE Tn) _ 
bre ol | | | 1 [Be ,ii | 1 3 dS (i. 34) 
和 


2 ,| 
Dix st)! 


其 中 积分 域 为 由 各 个 方程 了 ifziy yz 一 训 1 一 1 人 所 决定 的 一 皮 
维 则 面 Sk ， 面 


Dy | 
Dixz, 四 | 
1 a, a i 
dri Ar 
是 函数 了 了，… 半 变 量 去 ,zi 的 雅 可 比 行列 式 . 
3.7 居 » 维 统 计量 . 
设 T= : A sd ,其 中 一 党 ]】 一] 是 Ei 个 
可 微 函 数 , 并 存在 反 隔 数 , 设 其 反 消 数 为 
ee RR da) si = ls 
义 假 设 这 些 反 遂 数 可 微 , 则 其 微分 元 之 间 有 和 如 下 关系 
pir rdr dr, = plhyse sh) | dtdr, 


其 中 
pi ye 页 = plh: (ty ts de hs ts ty 


J = 


Dr stn) [Re ]| ! 
了 + 二 和 Dry" sa) 

是 耳 数 六 ,有 对 宗 其 二,"… st 的 雅 可 比 行列 式 , 这 时 了 了 二 《Ti ， 
TT.) 的 联合 密度 阔 数 为 


prltiser ,ts) = park | (1. 35) 
时 有 1 
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4. 荆 是 R” 上 的 仿 射 变换 
设 工 二 CT , 夺 二 (Xi y 玉 A 为 1 阶 方 阵 ,C 为 n 维 列 
向 量 , 则 称 下 二 A 十 C 为 了 上 的 念 射 变换 ,车 C 一 0, 划 工 为 月 * 上 的 线 
性 变换 . 若 4 是 非 奇 方 阵 , 则 其 逆 变 挤 
= A-'(T— CC) 
存在 . 并 且 , 其 雅 可 比 行列 式 为 


J = |detA !|= |detAl™! 
此 时 ;让 0.35) 可 得 吓 的 联合 密度 函数 为 
prlt) = prtAT i — CY delA| {1. 36) 


其 中 1 二 (ti). 除 上 述 一 些 方 法 外 ,对 特定 形式 的 统计 量 还 可 用 一 
些 特 殊 技 巧 来 获得 其 抽样 分 布 ,在 实际 应 用 中 ,常常 把 几 种 方法 综合 起 
来 使 用 ,以 便 更 简捷 地 求 出 抽样 分 布 ,以 后 会 经 常 看 到 这 方面 的 应 用 ， 
这 里 先 看 一 个 仿 射 变换 的 合子 ， 

例 1.6 设 尖 1，…, 关 ,是 来 自 和 NN(0,1) 的 一 个 样本 , 则 可 以 写 出 素 
二 { 萤 :,…, 六 ,的 联合 密度 函数 
1 


1 
Prt yr ya) 一 Xp! 一 A! 


1 
(om) 2 | 
其 中 x 一 (x, ;x4)' .现在 我 们 寻求 了 = 二 4 时 十 C 的 联合 密度 函数 ,其 中 
F 一 C079Y.)' , 生 为 a 阶 非 奇 算 阵 ,5 二 《ers ve) ;由 (1. 36) 可 知 Y 了 
的 联合 密度 旺 数 


py (Vis sy) = EE — 0)) 


-1 1 
一 Texp| 2 AMA) (Cy | 


车 令 工 一 44' , 则 det2 二 (detA)? 或 deta 一 (daetz) .十 是 


prvi yr) = IRI Taexp| 2 (ET 一 9 
这 就 是 #2 元 正 态 分 布 ,其 均值 向 量 为 人 ,方差 协 方 益 阵 为 ,有 即 Y~ 
和 Ni(C,2). 若 入 为 正 交 阵 ; 则 一 A4' 一 ,det3 一 1, 这 时 ,YY ,…,Y, 可 
看 作 来 日 NCC .1.) 的 一 个 样本 . 
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$1.3.3 来 自 正 态 总 体 的 抽样 分 布 


正 态 总 体 是 实际 中 经 常用 到 的 一 个 总 体 . 有 关 正 态 均值 y 和 正 态 
方 着 wr 的 统计 推 凯 理 沦 与 方法 贯穿 于 现代 统计 之 中 ,所 用 到 的 统计 量 
也 十 分 丰富 ,寻求 这 些 统计 量 的 分 布 是 现代 统计 人 研究 的 任务 之 一 , 交 
分 布 ,F 分 布 和 :分 布 是 其 中 最 重要 三 个 抽样 分 布 ,它们 的 定义 和 基本 
性 质 已 在 $ 1.2 葵 出 .这 里 应 把 注意 力 履 在 统计 量 的 构造 上 . 即 从 正 态 
样本 如 和 何 构造 统计 量 才 能 获得 这 三 个 分 布 之 一 ?其 中 - 些 明 显 的 事实 ， 
证 明 就 省 略 了 ， 

1. 设 (X,,… ,这 .) 是 来 自 标 淮 正 访 分 布 N(0,1) 的 -个 样本 , 则 六 1 
二 … 十 Xi 和 Xn). 

2， 设 区 | ,…' ,是 来 自 和 (0, 下 ) 的 一 个 样本 , 则 

(RET) /~ Yn) 
3. 设 下 ,… ,下 , 是 来 自 和 WC,o7) 的 一 个 样本 , 则 
(XI EE) fo 如 全 
其 中 非 中 心 参数 Y= 一 np /207. 
让 我 们 先 考察 了 = 二 Xi 的 分 布 函 数 , 当 ys0 时 ,pr(y) 一 0, 当 320 
时 ， 
pr) 一 [py IIH pT I SY 
二 is I “ie” 7] 
1 


一 一 一 一 e 六 DEY gy) /ZE1! 
ww GE 
由 于 (2h)! 一 22861 rr. 族 


二 
上 


| | 瑟 | 


N20 
1 kl ri 二 
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上 式 括号 内 不 是 别 的 , 正 是 Gamma 人 有 Go 人 人 3 | 和 


1 
放 Y~Ga| 二 9 ,赤红 | ,而 Yo Gal 3 | 六 | =x (1,# ,后 


非 中 心 Gamma 分 布 的 可 加 性 得 知 上 面 第 3 个 结论 成 立 . 
4. 设 到) ， 芝 ， 是 来 自 CA ) 的 一 个 样本 , 则 统计 量 


1 时 1 吐 二 
X= 元 人 XQ- 下 
独立 ,HH 一 No/n) 一 证 (一 1). 
我 们 利用 公式 人 1. 3 来 证 明 这 个 结论 ,为 此 我 们 先 写 出 样本 素 == 


《有 :的 联合 密度 函数 的 怎 阵 形式 


1 。 1 
Cor Pl 2 


其 中 于 为 个 1 组 成 的 列 亡 其 - 接着 考 赎 如 下 正 交 阵 


,再 由 


Cx Oo A Cx Oo Fl) | 


px} 一 


va 一 va D 2 p 
1 YX /Vx 3 2 Vaxs 5 0 
1 vnin— 1} 1 wm — 1) va ty ee /Vn 1 
Vn UV UVe LV 
并 作 如 下 线性 变换 


= FAT 
由 公式 忌 , 36) 可 得 Z 的 联合 密度 函数 为 
palz)— px(A-Z) |detAl-! 


一 Cordexp 一 2A 一 AL dz 一 ma | 


由 正 交 阵 性 质 知 , 息 :二 A',1det4 | 一 1, 曙 外 可 算得 2’'A1, 一 Vn pj2,， 
于 是 
《是 一 天 1 (4 一 天 1-) 
一 ZE 一 AZ 人 1 一 APECE 十 Hp 
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一 Dz 一 2 va pe, na 
;二 1 


严 一 上 
= > 二 十 (一 YA 
二 上 


代 辑 麻 式 就 可 看 出 :2 Zi，Z, 一 Ag 相互 独立 ， 用 都 服从 0， 
az), 由 本 节 的 结论 2 可 知 


nl 
二 D2? ~ Xn 1) 
1 一 1 


Za Nv ER 


另 一 方面 ,由 正 交 变换 可 算得 Z'Z 一 和 时 和 本 S71 x,, 
ni 


i=1 


1 Vx vx) 
Q= 2 忒 ) -二 一 1 xj | 


-= 率 [2 有 2 一 有]= bz ~ Xn — 1) 
— 1 必 3 了 

- P24 = -天 和 ~ N49 
到 于 @ 与 也 独立 是 由 于 Zi,2,_1 与 Z, 相互 独立 所 致 ,至 此 完成 证 
明 . 

5. 设计 1 来自 NC(0,o) 的 一 个 样本 , 则 
i 

(XK) fr 
事实 上 ,由 结论 2 知 


Qi 0 


~ Fn ,nn,) 


| 
i 


ez 一 LX mm 十 全 本 Xn) fo ~ En) = Gal +’ 1 二 | 


2 
义 从 假设 知 Q, 与 Q; 独立 ,理由 习题 2. 27 逢 QQ: 生 ,至 ]. 最 后 


由 和 1.2,3 的 第 4 个 结论 可 知 机 一 (az CA/Q2) 一 tn ,os) :这 就 完 
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天 了 证 明 . 

假如 把 上 式 中 去， , 叉 。 改 为 是 来 自 和 NCn,o) 的 - -个 样本 ,其 它 
条 件 椒 变 , 则 可 获得 非 中 心中 分 布 ( 见 习题 2. 17). 

6， 股 导 瑟 1 是 来 自 六 (0 人 7? 的 一 个 样本 ，, 则 


2 XT 
XI 十 十 2) /no 
用 


一 一 二 一 一 
KR? 十 十 KIN 
首先 ,容易 看 出 语 一 FF(] ,n) ,其 密度 阔 数 为 


rill| _1 
pe2 (uy) 一 | 2 | = La “Ls 一 0 


其 次 ,我 们 指出 : 当 XX0 一 NN(0,0 ) 时 ,及 。 和 一 和 是 同 分 布 变量 . 由 此 可 
推出 : 和 -上 也 是 同 分 布 变 量 . 于 是 
POPI0O< 一 上 
< P(t— yt<0 = 3P(O Ey) 
车 记 +: 的 分 布 医 数 为 F,,# 的 分 布 函 数 为 Fz, 则 有 
Fty}) Oo— (0) = FCO} Ft YY) 加 
对 上 式 分 别 求 导数 ,可 得 + 的 密度 函数 
py} 一 PC— 3 一 3 疡 zf 
把 二 的 密度 函数 代 人 , 即 得 到 形 如 (1.17? 的 上 分 布 的 密度 函数 . 


7， 设 RNCp0) sR 是 来 自 AD) 的 一 个 样本 , 且 到 
与 诸 X, 相互 独立 , 则 


Fat) 


rol 一 


其 中 非 中 心 参数 7 二 y/o. 
这 个 分 布 亦 可 由 定义 直接 导出 . 具体 可 参阅 文献 卫 . 
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3 1.3.4 次 序 统 计量 及 其 分 布 


次序 统计 量 是 统计 中 一 类 常用 的 统计 量 . 

定 六 1.15 设 蕊 ，…: 古 ,是 来 自 某 总 体 的 一 个 样本 . 该 样本 的 第 : 
个 次 序 统 计量 , 记 为 X6, 它 是 如 下 的 样本 阻 数 ,每 当 该 样本 得 到 一 组 
观测 值 zx;.…' ,ws 时 ,将 它们 从 小 如 大 排列 为 

Xo RT Xn 

其 中 第 i 个 值 ro 就 是 Xo 的 观测 值 . 称 ( 芝 0 ,*…, 芝 ww) 为 该 样本 的 次 
序 统 计量 . 区 ., 称 为 该 样本 的 最 小 次 序 统 计 芒 , 叉 , 称 为 该 样本 的 最 大 
次 序 统 计量 . 

在 总 体 有 密度 汕 数 p(x) 场 人 台 , 备 种 次 序 统 计量 的 密度 函数 都 容易 
用 “概率 元 ”方法 导出 .大 家 知道 ,连续 随机 变星 藻 在 很 小 区 介 
‘I: 宦 d7} 内 的 概率 为 

Plrx <XETr+ dr) = plr)dz + oldr) 
其 中 octdz) 是 比 dx 高 阶 的 无 穿 小 量 , 所 以 p(x)dx 足 诺 端 概 率 的 主要 
部 分 , 称 为 是 下 的 概率 元 .反之 , 若 存 在 晒 数 p(7) 使 虐 式 成 立 , 则 p(T) 
就 是 蕊 的 密 庶 浮 数 . 此 种 寻求 密度 函数 方法 称 为 "概率 让 方 法 ”这 个 
方法 在 多 维 联合 密度 场合 也 适用 ,下 面 用 概率 元 方法 米 寻 求 种 种 次 序 
统计 量 的 密度 函数 . 

设 居于, 是 来 自 茶 总 体 的 一 个 样本 ,该 总 体 的 分 布 消 数 为 
F(z) ,密度 阴 数 为 p(x) ,该 样本 的 次 序 统计 量 为 

Ki Kn 

它们 的 观察 值 依 次 记 为 yy 二 入 

.让 届 的 密度 鸭 数 gCy) ,其 中 1 二 nn ,及 的 观察 值 为 J My 
为 基础 把 实数 轴 分 为 三 个 区 间 : 

《一 oo m0) [ys 十 dy + dy 2) 

其 中 第 二 个 区 则 的 长 度 dy; 很 小 ,使 得 样本 观察 值 中 只 有 一 个 落 人 该 
区 癌 ,而 有 两 个 或 更 多 个 观察 值 落 人 该 区 疝 内 的 概率 为 零 或 为 okd)， 
这 只 要 使 dyi 充分 小 总 可 办 到 ,这 样 一 来 ;要 使 XX 的 观察 值 落 信 
[yy 十 dy 其 内 :就 要 样本 的 = 个 观察 值 中 有 有 一 1 个 落 人 (一 ce ,yx? 
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内 ,有 了 一 点 个 蕃 人 [Lm 十 dyyec) 内 . 据 多 项 分 布 ,可 算得 和 的 概率 元 


nl! 
SOVdy = CE 1 1 > 


[RCI ply dyll 一 下 (9 dy "+ ocdy) 
两 边 约 去 dyi 后 ,再 让 dy 一 0, 妈 得 芝 ( 的 密度 隐 数 为 


mn! 


EO) a EF oF FO) ‘plyr) 


(1. 37) 

特别 ,XX 与 ,的 密度 函数 分 布 为 
gy)= nLl ~ Fy) Ci) (1. 38) 
Elyn)= nF (y) "ply,) (1, 39) 


例 1.7 设 关 ,是 来 自 均匀 分 布 垃 (0.1) 的 一 个 样本 ,要求 
该 样本 第 个 次 序 统计 量 区 的 分 布 与 期 望 . 
大 家 知道 , 均 名 分 布 U(0,1) 的 分 布 函 数 与 密度 了 数 为 


1， 立 人 > 
ro 0 < 工 芝 1 

0 工 挟 0 

1， 站 < 二 拉 工 
pr) 一 | 

0， 其 它 
由 公式 4.377? 了 可 得 ,区 的 密度 玖 数 为 


ml 


BT IAT (0h 1l 


其 它 场 人 台 gf 一 0. 这 不 是 器 的 , 正 是 Beta 分 布 Be{ 站 ,n 一 十 1). 由 
1.1) 知 , 玉 的 期 望 为 


EX ) 一 
x 


二 1 
这 个 结果 在 使 用 概率 纸 时 常用 到 . 
2. XX 与 站 ;的 联合 密度 孙 数 gyssy7)) :此 中 1 和 jn 
信使 用 概 率 元 方法 . 以 xy4 和 yy; 分 加 表示 Xi 和 站 的 观察 值 ,这 
样 就 把 数 轴 分 为 如 下 5 个 区 间 : 
< Cos Ya) Ly Ys 十 dya} ,Ly 上 dys yi) 
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Ly; + dy) ,Ey; 十 drcc) 
其 中 dy 和 diy, 痢 充 分 小 ,这 样 一 来 要 后 及 届 的 戏 察 值 落 人 [yy 十 dv》 
和 关羽 的 观察 值 落 人 [yyj 十 dv) ;就 必需 要 且 芍 要 该 样本 个 观察 值 
中 县 一 上 个 落 入 (一 ,yx) ,有 一 1 一 万 个 落 入 yy 了 dy 9 和 一 J 了 
个 茵 入 [yw; 十 dy,,001, 据 多 项 分 布 ,站 和 下 的 概 京 元 为 


nt! 


证 一 1 一 1 一 说 In 太 1 
[EC 六 (9 — Fy 十 dy + x 
pliyndyLl ~ FE 十 dy 站 十 ed + oldy;) 

两 边 约 去 dysdyw 后 .再 让 dys 和 dy 邦 趋 于 零 , 最 后 得 Xo 和 三 om 的 联 

合 密度 为 


可 CR yi 站 Gysdy， 一 ~ 


na! 
gy Yi) 一 RI 1 kltn Oo 1: 


(3 FOYONTIAT ~ FOy)T ply p(y 《1.40) 
这 个 等 式 在 ws 部 或 立 , 在 其 它 场合 g(y4,37) 一 0 
用 类 似 方 法 可 求 得 任意 三 个 或 更 多 个 次 序 统计 明 的 联合 密度 阔 
数 , 辟 如: 
3， 前 > 个 次 序 统 计量 四 三 的 联合 密度 郴 数 


El Oo Fy) "x 


[Fy Xx 


大 上 
(Cr 一 1 


PODMPplYD, FER .41) 
特别 当 ”一半 时 ,的 联合 密度 函数 为 
区 (yq = ApyD pty) WE (1. 42) 
4. 最 后 ,我 们 考虑 次 序 统计 量 的 矩 的 存在 狂 问 题 . 
定理 12 设 蔷 ,,-…。,XX 是 来 自 某 总 体 关 的 一 个 样本 ,上 且 对 某 个 
tm0 有 下 上 | 和 so 假 旭 二 天 和 > 满足 
ra mintg.n om 二 1) 
则 有 EXw| 90, 其 中 六 避 为 该 样本 的 第 上 个 次 序 统 计 明 . 
证 了 月 :首先 指出 , 当 乒 | 其中 0 时 , 则 对 所 有 rr 人 a 有 
下 | 天 | < 十 co， 从 而 


EY Ee bi ay 一 
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co 之 已 | 天 | 六 上 ledP(X EHD) 0 00) 
另 -方面 ,' 寺 述 积分 
| leaPpex SD lelP KX ~ lr Tl — Fz)] 
其 中 六 (x) 为 XX 的 分 布 函 数 .两边 让 zoo, 可 得 
0= lm 六 rdP( & 1) 
> limlzl[1 ~ FP()] 0 
综 上 所 述 ,对 过 4 我 们 有 


EM (1.43) 
lim lz|r[1 — F(z)]—0 (1. 44) 


其 次 ,利用 分 部 积分 法 和 (1. 44) 
“> EXI'> | wdP(X < 2) 


一 | ab 一 PC 和 xz] 一 一 | rarezx > x) 
局 站 
一 Pr +a | eipex xdz 
国 自 


= | xm[1- Fr) de 
故 有 
[zi “FOrY dr < x (1.45) 


I 第 上 个 次 序 统计 重 站 6 的 定义 容易 获得 XX, 的 分 布 较 数 
Gr) Oo PK SE 工 ) 
一 CX 省) 中 至 少 有 上 个 二 工 ) 


= >)| "| [FO TE — Fer) i 
7 二 
于 是 的 > 阶 绝对 矩 可 分 为 如 下 两 个 积分 : 
EjXw!’ = 上 zacecz) 十 | rd》 
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我 们 先 考察 后 -- 个 积分 ,用 类 似 于 获得 (1.45) 的 方法 ,有 
六 TCF )》 = -| POX Xdx 


= Fr Tl Fry Td: 


ni 


| 上 1za[1 一 下 (zj arl 一 下 Cr 了 


[Fer jr Tl 一 Fx dr (1.46) 

由 (1. 43) 知 {x[1 一 FCr3J}"””* 是 有 界 的 ,从 分 布 卫 数 性 质 知 [FCr) 

有 界 ; 当 一 i 一 r/a 字 0 时 ;上 [1 一 FCryJ 和 呈 亦 有 界 , 其 中 i 可 以 为 0,1， 
一 1 故 当 >s 室 ak 一 天 十 1 时 ,由 (4.463 和 《1. 45) 可 得 


| 站 zacutzy < M 人 za FOYNr 二 加 
其 中 到 是 一 个 有 限 数 ,类 但 地 ,我 们 也 可 香 到 : 当 rak 时 ， 
| zacke < ~ 


综合 上 述 两 个 积分 存在 的 条 件 可 知 , 当 r 委 ga。minfe: 一 上 十 12 时 ,有 
王 | 和 co, 这 就 完成 了 证 明 . 
例 1.8 设 随 机 变量 评 服 从 Cauchy 分 布 , 其 败 度 明 数 为 


Pir) = 


1 
AI tr) ER 


大 家 知道 ElX!' 一 o007 宇 1) ,然而 对 任意 小 的 e>0 
EX 一 i | 2r7dr 


1 二 zx? 
科 用 分 部 积分 法 ,可 得 
1 lf mt! 十 xz) 


并 


ElX|'™* 


+ 三 1snt1 十 xdz | 


一 上 | lelngl 十 dz 
开 总 


一 Et 二 . 1 一 lntl 让 Dx 


由 于 limlintl 二 ea 一 D, 故 存在 这 样 的 zeo>>0 和 虹 zs 使 得 当 z 人 mn 


让 
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时 永 近 有 ln(i 十 Tz}/zx 人 之 MM, 因此 由 上 式 可 得 
E:X|'* < [fa 二 zdzr 十 于 | “az]< oo 
下 4 , 


这 表明 :Cauchy 变量 的 1 一 上 阶 和 矩 存 在 ,其 中 s>0 可 以 任意 小 

若 设 站 ，,… ,XX。 是 来 自 上 述 Cauchy 分 布 的 一 个 样本 , 则 对 样本 均 
盘 且 来 说 ,只 绝 7r 汪 1, 仍 有 El 下 | 二 oo. 然而 定理 1.2 表明 其 样本 中 位 
数 X:: 的 期 望 ,方差 或 高 阶 扰 还 是 有 可 稻 存 在 ， 

譬如 二 3 时 ,5 一 开罗 即 帮 一 2 由 定理 1.2 知 , 对 

rl 一 E)Inink 丰 下 一 并 十 1 一 (1 一 6 2 一 2 一 2 

有 ElX.s1 oo, 由 于 可 任意 小 , 故 对 容量 为 3 的 Cauchy 样本 来 说 ， 
其 样本 中 位 数 的 均值 是 有 限 的 ,而 方差 是 无 限 的 . 类 似 地 讨论 可 知 , 容 
量 为 5 的 Cauchy 样本 中 位 数 和 5 的 均值 与 方差 都 是 有 限 的 . 当 ”一 51 
时 ,Cauchy 样本 中 位 数 改 6) 存 在 低 于 26 阶 矩 . 
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在 抽样 分 布 理论 中 ,至 令 已 导出 的 论 分布, 天 分 布 红 分 布 等 为 代 
表 - - 批 精确 的 抽样 分 布 ,它们 的 应 用 很 广 ,但 为 数 不 多 . 在 大 字数 场合 
下 的 抽样 分 布 都 不 易 导 出 ,或 导出 分 布 过 于 复杂 而 难于 应 用 ,这 迫使 人 
们 去 寻求 统计 量 的 近似 分 布 . 这 里 介绍 一 些 寻 求 近 似 分 布 的 大 样本 方 
法 . 最 后 介绍 一 种 随机 模 氢 法 . 


$1.4.1 从 中 心 极限 定理 获得 渐 近 分 布 


设 久 ， 呈 , 六 ,是 来 自 革 总 体 的 一 个 样本 , 侦 如 该 总 体 具 有 均值 
和 正 的 有 限 方差 台 ,; 则 由 中 心 极 限定 理 可 知 
eh 
P 7 0). n> oo 
其 中 B(x} 为 标准 正 态 分 布 玖 数 . 若 记 豆 为 样本 均 倩 . 则 上 和 式 可 改写 为 


P| Yn 一 AD 
1 


去 z| —> Dr, nroo 
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或 者 ,在 较 大 时 


_ i 1 
PAXEA) TPE 
' oT 了 


这 表明 ,即使 总 体 不 关 正 态 分 布 ,只 要 祥 本 容量 ” 较 大 时 , 蕊 的 分 布 函 
数 可 用 正 态 分 布 NICpsajm) 的 分 布 函 数 近 似 , 傅 大 ,此 种 近似 程度 傅 
好 ,这 时 我 们 称 NGasojma) 为 样本 均值 支 的 渐 近 分 布 , 记 为 


~ AN (Ca,0/n) (1.47) 


有 此 源 近 分 布 ,对 : 阶 矩 存在 的 总 体 , 在 二 较 大 时 ,总 可 非得 有 关 样 本 
均值 六 的 - 些 事件 概率 的 近似 值 . 

中 心 极 限定 理 常 可 如 此 给 出 样本 各 阶 矩 的 渐 近 分 布 . 如 在 样本 大 
阶 答 和 二 ,Xi 十 … 十 XX) fn 中 , 诸 XX! 是 独立 同 分 布 随机 变量 ,其 期 望 
让 一 EF; X11 , 方 闪 Var(X10) 二 ju 一 成, 只 要 其 方差 为 正 , 几 有 限 , 则 由 中 
心 极 眼 定理 若 


ea 全 CT Lan 一 2) /ny Cl. 48) 
31.4.2 随机 变量 序列 的 两 种 收 笋 性 


为 获得 和 揭 多 的 渐 近 分 布 , 需 要 讨论 如 下 两 种 收 伊 性 . 
定义 1.16 谈 !Z. 为 一 随机 变量 序列 ,2 为 另 -个 随机 变量 , 假 
如 对 任 一 个 >0, 有 


PiliZ, -ZI er0 no 


则 称 随机 变量 序列 1Z,} 依 概率 收 合 于 Z, 记 为 Z, 一 ~. 

依 概率 收 仇 表 示 :Z, 与 Z 相差 不 小 于 任 一 给 定量 的 可 能 性 特 随 着 
2 增 大 而 傅 来 得 小 ,直至 趋 于 零 . 大 数 定律 中 收敛 性 就 是 Z 为 常数 2。 
时 的 核 概 学 收 伍 . 

定义 下 1 设 {2Z,: 为 -随机 变量 序列 ,到 ,(x) 为 Z, 的 分 布 随 数 ,Z 
为 另 一 个 随机 室 营 ,不 分 布 旺 数 为 (xz), 若 对 F(x) 的 得 个 过 续 点 之 有 


PA) FI), n> oo 


则 称 随机 变 基 序 狮 :Z,} 依 分 布 收 化 于 7, 记 为 2, -二 -2 或 称 分 布 函 数 
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序列 {Cx)} 弱 收 人 第 于 六 (xz) , 记 为 F(z) 一 >F 人 (7). 

依 分 布 收 仑 是 用 分 布 函 数 序 列 的 收敛 性 , 米 定义 相应 随机 变量 序 
列 的 收 化 性 ,但 可 忽略 F(z) 的 非 连续 点 . 中 心 极 限定 理 中 的 收获 性 就 
是 依 分 布 收 敏 . 依 分 布 收 伍 性 与 依据 率 收 和 化 性 相 比 是 … 种 较 弱 的 收 敏 
性 . 在 上 述 记号 下 ,用 如 下 定理 . 


定理 1.3 设 Z, 一 m2, 则 2Z, 一 v2Z. 
它 的 证 明 可 在 文献 “中 查 得 ,这 里 略 去 . 
六 面 的 例 了 于 说明, 定理 1.3 之 道 不 成 立 . 
例 1.9 没 工 的 分 布 关于 -一 0 对 称 , 即 其 分 布 沙 数 满 吓 FCx)==1 
一 下 (一 了 发 设 
Zn “? ”为 偶数 入 二 
一 全，? 为 奇数 
容易 看 出 诸 Z, 与 了 同 分 布 ,故障 机 变量 序列 :ZZ,! 依 分 布 收 化 于 Z, 但 
{2Z.} 不依 概率 收 伍 ,因为 当 半 为 奇数 时 
12 — Z| = 2|2Z| 


所 以 
POIZ, -Z| 让 = P22ZIe) 
一 =- 川 z> 了 | 上 + 避 z 二 一 二 3 | 
= 1— Fre/?2) + Fr- e/2) 一 了 EC- £/2) 
由 于 Rob 要 和 小 时 ,可 可 (ef2) 汪 116, 从 而 


P(12. 一 Z| 之 是 > 


这 表明 1Z,} 不 能 依 概率 收 敏 于 Z， 
但 是 .在 Z 为 常数 c 时 ,两 种 收 合 性 就 等 价 本. 


定理 1.4 设 : 为 常数 , 若 Z, 一 re;, 则 2Z， xe. 
证 月 ;对 任意 e 计 0, 有 
并， | 宝生 
—1— PX, < + PZ 5 -- ee) 


。 42 。 第 一 章 基本 概 彰 


<1—Flct$ -0+Pe—o 


由 于 2Z, 一 "Z 二 csZ 的 分 布 函数 严 (z) 在 < 二 er/2 和 cs 处 是 连续 的 ， 
故 上 式 右 端 收 钱 于 1- 一 六 tc 十 5s/2) 十 Fle 一 e)= 二 0, 这 就 证 明了 结论 ， 


§$ 1.4.3 几 个 重要 的 结果 


下 面 几 个 定理 常 被 用 来 寻求 一 些 统 计量 的 淅 近 分 布 . 
定理 1. 5CSlutsky)〉 设 {2Z.} 和 (UU,} 是 两 个 随机 变 基 序列 ,车 
Z 一 > ZU, -> c( 常 数 ) 
则 有 
(ZU Ze 
Oi) UZ, > eZ 
0G) ZU Ze (Ceo0) 
征明; 我 们 只 证 明 (i). 因为 另外 两 个 的 证 明 类 似 . 首先 可 考虑 Z, 十 
UU, 的 分 布 吨 数 
Per, 十 Ci, < 工 ) 
一 已 (2 Tc 二 PiZ 二 U7 Uc 
PlZ celU,—e| Ee 十 Pt | 一 人 ee &) 
站 十 三 一 人 
因此 


lim sup 天 [2 目下 ,过 区 
mamPo, 人 RA 二 lmP(lU ee) 
PZ 人 ETT+t+te = Fr c+i+e) 
其 中 FC- ) 为 ZZ 的 分 布 函 数 , 类 似 有 
PY, TU PZ + |U, | ) 
闵 王 (二 工 一 (一 可 一 cl 过 时 
一 了 (过 一 (和 一 一 一 
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PZ re)— PiU |e) 


因此 
lim inf P{Z, + U, Sx} 


本 -ce 


limPlZ, Sr ee — limP(lil,— ee) 


Pl(ZEI—c— = Fl(r—c— e) 
由 上 述 两 个 关系 式 , 再 考虑 到 上 的 任意 性 , 即 可 得 
limP(2, 二 UU, 和 x)= Fre) 


这 就 意味 着 Z. 二 LT, -二 =Z 十 c. 证 毕 ， 
例 1.10 设 {Xo} 为 独立 同 分布 的 随机 变 昌 序列 ,其 均值 为 4, 方 
其 为 0, 且 四 险 中 心 答 ECX, 一 y+ 一 vz, 有 限 , 更 要 求 样本 (无 偏 ) 方 盖 
Si= G1) ,CY — XY: 
的 渐 近 分 布 .其 中 六 = CX 十 十 六 in. 
首先 记 六 二 Var[ (一 让 ?| 二 wy 一 54, 并 记 


Si:— oi 提 1 
一 Cl, 1 7602 
rn nl1 vn ” 


T= DK — X= DX SS)- (和 +o 


i=1 i 二 1 


人 一 六 号 (成 7。 (一 【一 一 上 


1 一 1 


RK, 一 nC, LA) | og 
则 有 ,二 GG 十. 对 R, 我 们 记 U, 一 |R,/ vA ,其 分 布 函数 记 为 
,tay :于 是 
P{IR/ Val e)= Pe) 


= | dp.) ee 上 EdF, Cu) 


江 上 站 ar = Els) 
[3 后 
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由 于 
EIT EIR//NR IS VRECR, — p+ /Vr 
= 2a2r wz 一 > fm -= ce) 


疡 以 可 得 R.j v -一 0, 另外 ,对 避 我 们 知道 ECX) 是 独立 同 分 布 随 
机 变量 ,日 ELgCX) jj 二 Cm- 一 Do/n, VarLs (XD) j= 所 十 oo, 故 由 中 心 
补 限 定理 知 
人 一 (一 1)o2 工 
- 7 二 一 -一 ~ 和 (0:1) 
这 里 和 和 今后 还 村 用 N10,1) 走 示 标 准 正 态 变量 , 最 后 .和 白 由 理 1.5 可 得 
1 nl) 工 


Yn 
从 而 
Sa L 
— 一 -> N(O,1) 
YA ww 


这 说 明 S: 的 浙 近 分 布 为 Was;y2ja ,其 中 7 二 wv， -at， 
定理 1.6 设 {1Z.} 为 -随机 变量 序列 , 且 Z, 一 >c( 和 常数 ) ,又 函数 


g(- ) 是 在 点 < 处 连续 ; 则 g(Z,)- 一 -gtc)， 
证 明 : 二 连续 性 相知 ,对 任意 s, 存 在 80, 使 得 当 | 一 cs 时 ， 
总 有 |g(tz) 一 gCc) | 过 ,从 而 
Pl lg(2,.) — glc)| < e) 
宇 PilZ. 一 cl < 全) 
1— PZ 下 DO 一 1 {n> 00) 
这 就 说 明 ;g(Z.) >g(e). 证 毕 
例 1.11 设 (&.} 是 独立 局 分 布 随机 变量 序列 ,其 均值 为 上 方差 
为 二 o0. 模仿 正和 态 总 体 下 的 i 统计 量 , 构 造 
t= Vn CR, 一 OS, 
常 称 二 为! 化 统计 基 , 现 要 求 的 渐 近 分 布 . 
首先 由 率 软 大 数 定律 可 知 
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2 2_* ] sx 
把 > (Xi A yy Px 本 
因此 由 Slutsky 定理 可 得 
$7 一 了 二 | (一 po02 一 (CX, | og 


再 由 定理 1.6 可 知 S， 2 方面 ,由 中 心 极限 定理 页 知 
= VK /sr 


NC0,1) 
最 后 由 Siutsky 定理 即 可 知 1 一 xN (C0,1). 

定理 1.7 上 设 1as) 为 --- 赵 于 到 的 数列 ,#8 为 常数 ,并 且 对 随机 变量 
序列 {7Z,! 有 

工 
(2, hb) 7 
及 设 g "为 可 微 函 数 , 且 呈 在 点 五 处 连续 , 则 有 有 
asfg (2Z,.) 一 PD 工 。 gp)Z 
证 阴 ; 首先 由 定理 的 假设 可 得 
Z,— b= 1 [a,l2, D0.Z-0 


再 由 定理 1.4 可 知 |2Z,…6|->0. 
车 方面 ,由 中 值 定理 知 
[gC2) — 86 = avg' (Zr 2 b) 

其 中 ZZ; 满足 | 一 2 所 |Z,. 一 58|. 在 这 个 不 等 式 中 :由 于 右 端 依 概 率 收 
得 于 0, 故 左 端 也 必 依 概率 收 合十 0; 从 而 

Zr -6 
再 由 人 在 点 二 处 连续 和 定理 1. 6 可 得 

人 CT) > go’ (6) 
综合 荆 述 ,再 一 次 应 用 定理 1.5 即 可 得 
g' (CZ) La 2 一 p> A (BZ 

这 就 完成 了 定理 的 证 明 . 
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例 112 设 { 习 是 独立 同 分 布 适 机 变量 序列 ,此 均值 为 jg 方差 
六 一 0, 在 例 1.11 中 已 有 


LHS /> NO,1) 
如 邻 我 们 求 vx # (5, -oY 的 渐 近 分 布 ,其 中 7 一 7, 一. 
虽然 5 一 | 》 ”CX 一下)?/(n 一 1) | 不 能 表示 为 独立 随机 变量 


之 和 ,但 是 、 = VE , 阁 取 #8) 一 vz 则 g(xz) 一 (2 wz )-! 再 取 a。 
一 YA 应 用 定理 1.7 即 得 
VS, — Of > 20) + -7 
其 中 Z 为 标准 正 坊 变 基 ,或 者 
S, ~ ANt{o, 7?/ Ang’) 

例 1.13 设 忆 是 来 自 二 点 分 布 六 1,20) 的 .个 样本 . 其 中 
0<g<1, 现 要 求 样 本 均值 筷 的 因数 g( 芝 ) 一 胸 (1… 信 ) 的 渐 近 分 布 . 
由 于 二 点 分 布 5 和 ,内 的 方差 下 二 8(01 一 六 和 0.25, 故 由 中 心 极 腿 定 


理 知 
Vn WD/ /UIT NO,1) 
另外 取 gtx) 一 z(1 一 2z) ,于 是 g' 《zx} 一 1 一 2z 在 (0,1) 上 连续 , 若 联 a 二 
Yn /Yt 一人, 则 定理 1.7 可 得 
a XO — R00 — 0 20)Z 


其 由 为 标准 正 态 变量 、 只 要 2 112， 在 有 较 大 时 有 
1 — OO 2201 


nn 


于 人 一 让) 一 AN| 8C1 — HH), 


31.4.4 样本 的 记分 位 数 及 其 渐 近 分 布 


1, 总 体 的 记分 位 数 

设 总 体 下 的 分 布 洱 数 六 FCT 一 PCKET)y 测 给 定 的 PpEC0,1)， 
方程 F(x 一 p 的 解 + 二 称 为 该 总 体 ( 或 该 分 布 ) 的 疡 分 位 数 , 当 户 一 
0.5 时 :5 ; 称 为 该 总 居 的 中 位 数 , 在 这 个 定 祥 下 机 能 会 出 现 如 下 三 种 
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情况 [7 ; 
01) 瞧 一 的 记分 位 数 ,如 天 (z) 在 所 处 连续 单调 , 见 图 1.6(a). 
0i) 没有 疡 分 位 数 ,如 开 kz) 在 名 处 怕 有 跳跃 , 见 图 1.656)， 
Ci) 不 自 一 个 记分 位 数 , 如 在 区 间 (<4,58) 上任 一 点 都 有 
F{Xx) 二 记 , 见 图 1. 6(e). 


图 1.§ 总 体 的 记分 位 数 
这 种 定义 简单 明确 , 常 在 实际 中 被 采用 .但 由 于 其 存在 福 和 唯一 性 


问题 使 理论 研究 发 生 技 术 上 的 困难 . 为 了 回避 这 些 技术 困难 ,统计 学 家 
义 把 总 体 的 pp 分 位 数 定 义 为 
é, = nf{r: FC Pp} ppE (0,1) {1. 49) 

当 pp 二 0.5 时 ,后 : 称 为 该 总 体 的 中 位 数 . 在 这 个 定义 下 ,上 述 三 种 情 帝 
都 有 队 -- 的 分 位 装 , 特 别 , 当 下 (zx) 是 严 增 函数 时 ,上 述 两 种 定义 是 
等 价 的 ,常见 的 连续 分 布 都 属于 这 种 情况 . 

2. 样本 的 p 分 位 数 . . 

设 XXX 是 来 自 某 总 体 的 一 个 样本 ,六 入 和 玉 是 其 次 序 
统计 晤 . 该 样本 的 中 位 数 定义 为 


人 ntiy ? 
tp. 一 (人 当 了 为 奇数 
| [人 tT Xi sn) ) /2, 当 为 偶数 


对 一 般 的 样本 的 记分 位 数 mmx, 虽然 仍 是 用 次 序 统 计量 纵 定 ,但 给 定 的 
方式 也 有 多 种 . 矢 如 
(1) mp 一 ,其 中 在 二 [zip ] 二 1 长 .与 十》 


《1. 50) 
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(ii mp 一 车: 其 中 二 上 tr 十 12] (1. 52) 
(ii mY = inf{x :+ F(x) Dp} (1. 53) 


其 中 [aj 为 不 超过 a 的 最 大 整数 . Fv(z) 一 二 > :Ts 为 样本 的 经 验 
分 布 旺 数 .这 玫 种 样本 分 位 数 的 定义 虽 有 所 不 同 , 但 郁 可 用 某 个 卫 () 表 
示 ; 其 中 与 np 的 节 离 一 般 不 会 超过 1 璧 如 ,在 pp 一 0. 25 ,nn 二 70 时 可 
导出 mp 一 闫 gy 一 站 yom 二 六 0g ;这些 次 条 统计 量 和 的 下 标点 与 
np 二 17. 50 相差 都 不 超过 1. 当 祥 本 容量 一 无 限 并 人 时 人 党 与 地 之 羡 的 
差 与 a 相 比 ,或 与 vn 相 比 都 微不足道 . 

3. 样 不 分 位 数 的 渐 近 分 布 、， 

定理 1.8 设 邱 ,…,X。 是 来 和 县 有 密度 范 数 ptz) 的 总 体 的 一 个 
样本 ,对 给 定 的 pEt0:1)，p(z) 在 总 体 的 户 分 位 数 护 处 连续 , 且 
户 ( >0, 久 定义 奶 , 使 得 六 二 np 十 o( wn ); 则 对 样本 的 第 个 次 序 统 
计量 系 有 有 

YA (Kn ~ $,) 
vp — p/P(E,) 
证 明 : 邻 Z. 二 vn 《Xi 一 总 ), 则 有 
PF, EI) = Plvn (No — 6) r) 


L 
> NCIO,1) 


| 


vn! 


= P| Xn 所 各 十 


= P| 2 Tg, 5! 之 | 


i=1 


最 后 -个 等 号 成 立 是 由 于 事件 “Xww 忆 包 十 一 "等 价 于 “样本 中 至 少 
nm 


有 名 个 样品 观察 值 不 超过 ,十 一 一 ”, 若 令 
Va 
Y,, 一 Tt ri 一 Fl 十 廊 -| 这 1 
和 
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则 事件 “2 Tres 1-5! 学 ”等 价 于 事件 " 2， YY 之 Vn ts”, 其 
中 诸 Y 是 相 丘 独立 则 分 布 随机 变量 ,其 分 布 为 
PY = 1— Fé, + zrM nn) = Ft, tr xh a) 
P[Y, = FO, | rzA RB) 1— F(t, + rh n) 
并 且 
FE + rh n= PIE plE)IA Nn 十 af 人 ) 
= p+ perAn 4 ol ny) 
容易 算得 :ELI7.I 一 0， 
Vartya = ElYS) = F(é, 十 < FS + zh a)] 
= pl -pp) + ollA nm ) 
tC -二 — np— nplé rn + olv rn) | 
二 一 bp) + oll) 
利用 中 心 极限 定 奸 可 得 
， 
"a a 


DR ET 


| _ pl — 2p,) oz) i 
pl 一 p)) VP 一 
这 就 意味 着 


p| Vn (Xow 人) < 了 ja co) 
[wb — p/PE,) 


这 就 完成 了 证 明 . 

从 样本 的 记分 位 数 的 几 种 定 六 看 ;所 用 的 ,部 能 使 (一 np)/ 
VC=00rccl: 部 站 一 zt 十 of wm) 所 以 出 定理 1.7 可 得 样本 的 
分 位 数 的 浙 近 分 布 


pll— p) 
Sn ples) Y. 


特别 , 当 p 二 0.5 时 ,样本 中 位 数 的 渐 近 分 布 为 


ms, ~— ANIE (1. 54) 
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1 l 
Mio,s ~ AN| bs, TT pte | 《1. 55) 


3 1.5 充分 统计 量 


315s.1 统计 量 的 压缩 数据 功能 


定义 在 可 测 空 间 ( 叶 , 汤 ) 上 的 统计 量 了 一 了 (r) ,实际 上 是 对 样本 
斑 一 《进行 某 种 加工 的 结果 . 璧 如 ,为 了 居 计 总 体 的 均值 ,人 
们 把 样本 元 加 工 为 样本 均值 蕊 , 为 了 估计 和 总体 方差 于, 人 们 把 样本 部 
加 工 为 样本 方差 83, 然后 用 素 和 8 分别 去 估计 均值 x 和 方差 开 , 这 种 
加 工本 古 上 是 统计 量 的 压 巡 数 据 功 能 的 体现 . 如 何 理解 这 个 含义 唱 ? 

直观 上 看 ,样本 的 不 同 的 观察 值 , 统 计量 了 有 相同 的 值 , 璧 如 , 改 
蛮 样 本 观察 的 排列 顺序 ,不 会 改变 成 与 3 的 值 .这 就 是 统计 量 的 “ 压 
弟 数 据 ” 功 能 . 从 理论 上 上 看, 车工 是 在 CF , 客 ) 上 取 值 的 可 测 映 照 .那么 
对 sg 并 数 次 中 在 一 元 率 C 在 老 中 有 一 个 原 你 

了 CD 一 EC 
把 所 有 原 像 的 全 体 记 为 
TE = {TC CE CB} OO 

容易 验证 ;1 (学 ?号 e 代数, 并且 是 客 的 子 o 代 数 . 这 表明 ,有 了 统计 
量 了 之 后 ,了 原先 样本 所 涉 芭 的 可 测 空 间 ( 儿 ,有 静 ) 换 为 另 -- 个 新 的 可 测 
空间 (对 , 帮 )) ,差别 在 于 o 代数 缩小 了 .涉及 到 的 各 件 减 少 了 .只 
有 在 了 尾 一 占 一 摧 照 时 = 代数 才 不 能 被 压缩 .而 统计 中 所 用 的 统计 量 
工 二 TC) 第 常 是 多 对 -映照 . 所 以 a 代数 缩小 了 是 几乎 肯定 的 . 这 就 是 


“压缩 数据 ”的 含义 . 


斌 1.14 设 关 一 (XXX2 Xi 是 从 二 点 分 布 51, 引 中 抽取 的 一 个 
容量 为 3 的 样本 . 由 于 每 个 X: 仅 能 取 0 或 1, 故 其 翌 配 空间 . 受 只 含有 
3 个 样本 点 .了 二 {7 ) ,其 中 

T0000) XY = (00,1), ro (0.1,0) 
X= 00) 一 [0 11)， Y= 0.0.1) 
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T= C0, rTP.1) 
在 共 上 的 ao 代数 . 萎 是 其 子 集 全 体 , 共 有 2 一 256 个 事件 组 成 
各 作 (% , 攻 ) 上 定义 统计 量 荆 二 苹 十 下 ;十 总; : 它 的 慎 域 为 了 , 仅 
售 4 个 点 :这 是 由 十 不 同 的 样本 点 对 庶 相 同 的 了 和 值 之 故 . 这 时 .了 上 的 
z 代数 号 也 只 当 有 冯 一 16 个 事件 .这 16 个 事件 的 原 像 组 成 受 上 的 
一 个 = 代数 了 区区) 若 记 CC 一 人 二 站 0 .2:3. 则 诸 避 的 原 像 为 
B= TC = {rz} 
Bi=1 C0) = {rr 
BT MC) = {rr 
B= 7 HC) = {xr} 
这 4 个 原 像 实际 上 是 .经 的 …… 个 分 割 ,这 个 分 制 上 产生 的 代数 就 是 
TD), 显然 了 7( 咱 ) 忆 : 冰 , 即 a 代数 中 的 元 素 山 256 个 减少 至 16 个 . 
一 般 说 来 , 任 -- 个 统计 量 都 有 正 缩 数据 的 动能 ,只 是 程度 不 同 黑 
了 ,和 艾 如 ,如 下 两 个 统计 量 
了 一 后 一 妈 常 数 ) 
容易 看 出 :它们 产生 的 子 z 代数 分 别 为 
了 
Tl = {2 
其 中 作为 空 集 ( 不 可 能 事件 ), 它 ; 为 T; 值 域 上 的 o 代数 .这 两 个 统计 量 
的 讨 缩 数据 功能 并 不 亚 于 统计 晤 工 .但 在 实际 中 ,这 些 统 计 基 不 被 采 
用 . 原因 蚌 压 缩 过 分 了 ,以 至 于 抹杀 了 样本 之 问 的 重 雪 差别 ,造成 信息 
损失 , 因为 样本 下 二 (xj,x:;ZX;) 提 供 了 两 种 信息 : 
1. 三 次 试验 中 成 功 出 现 多 少 次 ， 
2. 成 功 出 现在 那些 试验 点 上 . 
对 估计 成 功 慨 率 娟 来 说 :有 用 的 量 是 第 -- 种 信息 .第 一 种 信息 对 估计 8 
并 不 重要 . 统计 量 了 了 和 了 :没有 把 第 -- 种 信息 定 全 反映 出 来 ,而 统计 量 
了 一 41 一 AsTRXs 把 第 一 种 信息 充分 反 映 出 来 了 . 所 以 说 统计 量 工 既 
压 迪 数 据 . 又 不 损失 有 关 参 数 的 信息 ,而 统计 量 和 了 虽然 压缩 数 
据 , 但 损失 了 有 关 参 数 8 的 信息 ,在 统计 中 把 不 所 失信 息 的 统计 量 称 为 
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充分 统计 量 . 
3 1.5.2 充分 性 


统计 其 的 充分 性 是 统计 中 最 重要 的 基本 概念 之 .. 它 是 费 希 尔 于 
1922 年 提出 来 抑 ,但 充分 性 的 严格 质 述 和 证 明 是 Halmos 和 Savage] 
在 1949 年 完成 的 .我们 将 逐步 深入 讨论 这 个 问题 . 

“不 损失 信息 "的 统计 量 就 是 充分 统计 量 . 这 是 -- 种 模糊 的 说 法 . 这 
里 首先 要 灶 " 椒 损失 信息 ”给 出 明确 的 数学 定义 , 设 总 休 四 服从 某 个 离 
散 分 布 psfz) .其 中 

Palr) = PtX = x T= Alvi" 

9 是 未 知 参 数 ( 或 向 量 ), 这 里 规定 记 (aD) 0 二 12 县 了 
pelai) 一 1. 为 了 对 参数 98 作 统 计 推 断 , 需 要 从 该 总 体 抽取 一 个 样本 处 = 
(六 .显然 ,样本 天 中 含有 8 的 信息 .经 过 加工 ,获得 统计 量 了 
二 了 TCX), 白 然 ,统计 量 工 也 含有 的 信息 ,试问 ;统计 二 中 和 样本 XX 
中 所 含 8 的 信息 是 否 - 样 多 ? 太 家 知道 ,对 样本 各 加 工人 不 可 能 增加 信 
息 ; 不 减少 的 信息 就 是 最 好 的 了 . 由 样本 天 可 算 山 统计 昌 开 ,假如 能 
由 统计 其 人 的 值 恢复 样本 ,那么 这 种 统计 量 就 不 会 括 失 有 关 8 的 信 
息 , 要 做 到 这 -点 ,关键 要 在 给 定 了 一 :下 ,样本 的 条 件 分 布 不 依赖 
于 4, 即 


Pa rT ot PX zrIT- 1) (1.56) 
为 了 说 明 这 -点 ,我 们 先 看 下 面 的 例子 ， 
例 1.15 设 久 |,…,X, 是 来 自 二 点 分 布 5(1, 站 的 一 个 样本 ,我 们 
来 研究 如 下 一 个 统计 是 
T= TX 
显然 ,T, 的 分 布 为 二 项 分 布 5tn; 引 ,当代 取 0.…:a 中 尾 一 个 整 
数 上 时 ,样本 所 的 条 件 分 布 为 


Po = riT, =1) 


PR = zx,T 人 


PetT 一 2) 
0 0 fi" vy, 
i 9 ~ 


| . 
1 IF 0" 
‘Ff, 
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计算 结果 表明 ,条 件 分 布 Psat 芭 一 zx| 了 二) 对 任意 样本 点 之 都 不 恢 赖 于 
8. 即 此 条 件 分 布 中 已 不 全 有 #8 的 信息 ,样本 中 有 关 8 的 信息 爹 合 在 统 
计量 了 1 中 . 
另外 ,统计 量 了 侈 可 能 取 商 个 值 ,0 与 1, 玫 
PrTs = 1 =PF, Po 一 人 一 1 一 证 
于 是 在 了 一 0 下 ,样本 三 的 条 件 分 布 为 
太一 一) 
= PX = Tis Ks, = 一 07PiT = 0) 
这 个 茶 件 概率 尚 不 能 具体 得 出 , 它 还 随 着 取 值 (r;,…,z,) 而 变 . 警 如 ， 
当 (zxs 二 {10,0) 时 ,上 述 条 件 概率 为 六 (1 一 "2(1 一 
六). 这 表明 在 了 ,一 0 时 ,样本 的 条 性 分 布依 赖 寺 8, 若 从 此 条 件 分 布 抽 
取样 本 ,还 可 获得 有 关 8 的 信息 , 换 旬 话说 ,T, 没有 包含 样本 中 有 关 #8 
的 全 部 信息 ,只 了 包含 部 分 ,而 损失 部 分 . 
进一步 ,我们 可 以 利用 工 , 二 i ,设计 一 个 不 依赖 本 8 的 随机 试验 ,使 
其 产生 与 样本 X 有 同样 分 布 的 新 样本 下 ' 二 (X'，,… ,XX',). 这 是 因为 条 


一 1 


件 分 布 POX 二 Tj 9 一 卫 v mo 人 已 不 依赖 于 人 , 且 组 合 数 


站 -zl /[! (n 一 2)!1] 可 看 作 是 + 个 1 和 xw 一 :个 0 的 重复 排列 数 . 因 


此 可 设计 这 样 一 个 随机 试验 :把 上 个 1 和 an 一 :个 0 随机 排列 , 任 一 个 这 
样 的 排列 出 现 都 是 等 可 能 的 . 若 记 < 二; 汲 第 i 个 位 置 上 的 数 , 则 xz/; 非 9 
即 1, 这 样 得 到 的 (zz 是 新 样本 XX' 二 CX'.、… 的 观察 值 . 
这 样 得 到 的 新 样本 X' 虽 不 能 与 老 样 本 及 完全 相间 ,但 它们 在 条 件 工 , 
一: 下 的 条 件 髓 章 是 相同 的 ,都 等 于 | "| . 故 
PetA) 一 Ti。 一 Zz) 


= 了 已 (第 TX, = rT = NPAT=E) 


:=0 


= SPIXN = ri KS = AT PT =A) 


[= 
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= PelX' = ry = 
由 屁 推 出 半 老 样本 是 同 分 布 的 . 从 市 新 老 样 本 所 含 台 的 信息 是 相同 的 ， 
由 于 我 们 所 设计 的 随 本 试验 ( 古 自 概率 模型 ) 不 合 企 何 品 信息 ,所 以 老 
样本 态 中 所 含 8 的 信息 全 都 在 统计 量 TT 中 . 能 有 如 此 结果 关键 在 于 
条 件 分 布 到 一 z12 一 站 不 依赖 于 8, 而 统计 量 了 就 不 可 能 艇 到 这 一 
点 , 国 为 其 条 件 分 布 Py(X 一 z | 了 TT, 一 站 是 恢 赖 于 #8 的 ,综合 上 述 可 知 ,TT， 
是 充分 统计 量 ,T; 不 是 充分 统计 量 . 

从 上 述 例 子 可 雇 看 出 ,在 对 样 证 的 加 工 过 程 中 ,一 个 统计 量 7 了 “不 
损失 信息 ”的 数学 描述 是 “在 了 取 人 性- 一 个 值 上 时 ,样本 的 条 件 分 布 不 售 
种 于 未 知 参 数 ”. 当 从 离散 分 布 族 推广 到 一 般 分 布 族 时 ,这 一 数学 描述 
人 热 有 效 , 但 允许 工 的 一 个 零 测 集 有 例外 , 由 此 可 纵 出 充分 统计 基 的 
一 般 定义 . 

定义 1.18 设 ( 有 ,有 ,1P 0CEB) 是 -- 个 统计 结构 ,又 设 
了 一 T(X) 是 (各 ,各 ) 到 (CF , 客 ) 的 一 个 统计 量 , 站 是 了 的 诱导 分 布 . 
假如 在 Pi 的 霍 测 集 外 , 工 取 任 一 个 值 上 时 ,样本 羡 一 (和 的 条 
件 分 布 都 不 依赖 于 2, 即 对 任意 的 8EB 和 吾 筷 到 ,有 

PtB|D) = PIBID), a.s. PY (1. S57 
则 称 工 为 该 分 布 族 ( 或 参数 们 的 充分 统计 量 . 

当 样 本 空间 党 为 欧 开 空间 ,分布 族 作 二 {Pe : 0E 日 } 是 受 控 的 场 
合 下 :上述 定 广 中 的 条 件 分 布 可 用 条 件 密 度 矿 数 替 代 . 警 如 在 离散 分 布 
族 时 ,了 是 充分 统计 量 的 充 要 条 件 是 

PtH 一 Ti CO zal = 1 


= PX) 二 XK, = kT = 1} (C1.58) 
在 连续 分 布 族 时 ,了 工 是 充分 统计 量 的 充 要 条 人 忻 是 
patzis Ta lt) = pir a 3 (1.59» 


其 中 pr,… ,x |) 是 在 给 定 荆 二 + 下 ,( 关 :部 ,) 的 详 合 人 条件 密度 函 
数 , 这 两 种 场合 是 实际 中 最 常 遇 到 的 场合 ， 

在 最 一 般 的 场合 ,确定 条 件 分 布 并 非 易 事 , 它 需 尝 从 扫 演 的 条 件 期 
望 与 条 件 概率 的 定义 出 发 途 步 灌 探 讨 . 这 种 探讨 是 元 长 的 和 乏味 的 ,有 
兴趣 的 读者 可 参阅 陈 希 矣 和 成 平 妆 的 书 . 在 他 们 的 书 中 ,还 在 最 一 般 
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的 场合 讨论 了 充分 统计 量 的 一 些 性 质 . 其 中 有 两 条 性 质 在 实际 中 常 要 
用 到 ,这 里 不 如 证 明 地 引述 如 下 . 
定理 1.9 设 ( 绝 , 泌 , 地 ) 为 统计 结构 , 完 为 欧 氏 空间 , 则 次 序 统 
计量 Kener s Ko) 为 该 分 布 族 2 的 充分 统计 量 . 
这 个 结论 与 人 人们 的 如 下 经 验 事 实 相 符 . 若 ?次 试验 都 在 相同 条 件 
下 独立 进行 时 , 那 我 们 只 需 知 道 n 次 试验 的 结果 是 什么 ,而 试验 结果 的 
排列 次 序 是 元 关 紧要 的 ,特别 , 当 人 人 们 知道 次 序 统计 量 的 观察 秆 时 ,并 
没有 损失 样本 中 任何 有 用 的 信息 ， 
定理 1. 10 充分 统计 量 的 一 对 一 变换 仍 是 充分 统计 量 . 
从 直观 上 看 来 ,任何 一 对 一 变换 都 不 会 损失 信息 ,因为 它 能 轻 而 易 
举 地 恢复 原来 充分 统计 量 的 取 香 ， 
在 上 面 一 些 括 述 的 基础 上 我 们 来 讨论 一 些 分 布 族 的 充分 统计 量 . 
例 1.16 设 开 1,…* ,六 ,十 来 自 Poisson 分 布 Pt 的 一 个 样本 .证 
明 : 统计 量 了 一 2)，,X, 是 参数 4 的 充分 统计 量 . 
事实 上 ,让 Poisson 分 布 的 可 加 性 知 , 丁 ~ (nA), 即 
PT =D) = Ee", 1 0,1 
当 了 一 上 时 ,样本 的 条 件 分 布 为 
PR) 一 ri di, = XT = 1) 
PRI = x PI KR 1 = x PX, 一 一定] 


PT = 1) 
=- 条 关 ， e Xe nie * 
har J Sa 
1! 1 


or lt Bn) 
这 个 条 件 分 布 是 多 项 分 布 , 它 在 上 给 定 下 就 完全 确定 , 它 与 参数 1 无 
关 , 故 了 是 参数 的 充分 统计 量 . 顺便 指出 ,根据 这 个 多 项 分 布 可 以 设 
计 一 个 古典 概率 模型 ,把 上 个 相同 的 球 随 机 放 和 人 个 不 同 盒子 , 记 XX'; 
为 第 i 个 盒子 中 球 的 个 数 ,i 二 1 … 则 所 得 样本 ( 匡 于 与 原样 
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本 同 分 布 . 
例 1.17 设 鞭 ,,…, ,是 来 自 两 参数 指数 分 布 的 - -个 样本 ,其 密 
度 函 数 为 
1 一 | ee 
pcan = {2 Bl 
0, 人 
其 中 aER 称 为 门限 参数 ,8ER1 称 为 尺度 参数 . 证明; 【XorT7 1 一 
(XS ”Xj 为 9 一 (a) 的 充分 统计 量 . 其 中 为 该 和 
本 的 次 序 统计 量 . 
我 们 将 用 一 系列 一 对 一 变换 来 研究 此 问题 ,首先 容易 写 出 次 序 统 
计量 (六 | 的 联合 密度 旺 数 


Pil roy To ia Bp) = 学 sxp， 一 误 { bE 一 oj |, 


& 所: 证 113 < 二 
作 变 换 
> 一 天 二 
| ys 一 人 一 1 — x) c1.60) 
|, Te Ty 
其 雅 可 比 行列 式 .二 1/n1, 在 此 变换 下 ，》 "zw 一 "yi :由 此 可 
得 7 …,Y, 的 联合 密度 顶 数 为 
es La 一 工 1 > nel,, 
Palys yidsB) exp 5 2 0 | | 


WE A EE Ya 00 


再 作 变 换 
1 二 
Er 一 
J 一 六 十 Ya (1. 61Y 


fg ye 
[了 一 yz 十 2 十 yo-1 十 mn 


$1.5 充分 统计 看 “57。 


其 雅 可 比 行列 式 J 二 1, 在 此 变换 下 ，》)" ,y= 二 1 十 Ts-1; 由 此 可 得 
Yi A » sn 2 sa :的 联合 密度 函数 


pa ysis st) = 订 exp| 一 琳 ( 十 二 一 no 上 ， 


0 
因而 (iY, 了 7,_1) 的 边际 密度 函数 可 求 得 


ptyirt)—= 放 exp{ 一 到 (3 十 一 na) | . 


Paola fe 


一 未 exp{ 一 育 (o 十 二 一 ne) ， 


一 
Cn Oo 2)] 
最 后 ， 在 给 定 了 一 7 和 了 工 。 1 一直 时 a :的 条 件 密 度 函 数 为 


patYys Hl ”3 于 2 Cn 一 全) 上 
Ply st) 本 


0 扫 有 二 (]. 62) 
上 和 式 右 端 与 e&: 如 无关. 所 以 (了 7 ) 是 (as 9) 的 充分 统计 量 . 又 因为 
Y) = nNu; 
人 7 = nO DA TT; 
是 一 对 变换 ,所 以 (天 仍 是 te,5) 的 充分 统计 量 . 
作为 本 例 的 结束 . 我 们 来 讨论 如 何在 充分 统计 量 [ Xo ,Te ) 的 给 
定 下 来 恢复 样本 . 设 已 敌 半 0 二 x 了 Ti!1 二 1:”; 则 
fi) 由 人 .63) 算 得 区 一 ny)T,_ i 二 一 (n 一 1] 十 #2" 二 
(ii) 由 (1. 62) 夏 出, 条件 分 布 h 是 来 自 均 句 分 布 LX0,1) 的 容量 为 
xX 一 2 的 样本 的 次 序 统计 量 的 联合 密度 旺 数 . 故 先 从 U0,#) 随 机 抽取 
容量 为 n 一 2 的 .个 样本 ,然后 从 小 到 大 排列 即 得 四 委 …… 技 za， 
5iiiy 由 (1.61) 可 愉 our yatn_2of 算得 yy 
tiv) 由 (1.80) 再 算得 ro 拓 扫 To 
(Vv) 把 xmhwyzm 随 机 排列 就 得 到 来 自 贞 参数 指数 分 布 的 一 个 容 
车 为 的 样本 . 


hus as: YE) 一 3 


《1. 63) 
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$1. 5.3 央 子 分 解 定理 


验证 :个 统计 量 的 充分 性 可 以 用 定义 1. 18. 在 欧 氏 样本 空间 场合 
可 以 用 条 件 分 布 ,在 可 控 结 构 场 全 (样本 空间 为 欧 氏 的 ) 可 以 用 条 件 密 
讶 十 数 , 除 此 之 外 ,还 有 一 个 更 方 恒 判 别 充 分 统计 芋 的 方法 , 它 就 是 因 
子 分 解 定理 . 这 个 判别 法 的 简单 情况 由 Cramer 在 ""!' 中 证 明 , 一 般 情况 
是 Halmos 和 和 Savage 在 1949 年 证 明 的 和 9. 

定理 1.11 (因子 分 解 定理 ) 设 ( 锡 , 雪 ,1ps : 65 日 )) 为 可 控 结 构 ， 
颇 为 控制 测 诬 , 记 zeCzr7 一 dQPrrdpn 又 设 了 了 一 了 (zz) 是 (5 ， 殉 ) 到 (人 ， 
喀 ) 上 的 统计 量 , 则 了 为 充分 统计 量 的 充 要 条 件 为 存在 

fi) .2% 上 的 非 负 腕 可 测 函 数 产 (zy， 

《ii 多 上 的 容 可 测 画 数 estt)， 
使 得 对 任意 28E 母 有 

疡 gf 工 ) 一 gelT (TOMOT), 8.S. 天 《1. 647 

这 个 定理 表明 ,在 充分 统计 量 存在 的 场合 ,样本 的 密度 画 数 pel》 
可 分 解 为 两 个 因子 的 乘积 ,其 中 一 个 因子 与 #8 无 关 , 仪 是 样本 工 和 的 旺 
数 , 另 一 个 因子 是 与 有关, 也 与 样本 二 有 关 , 但 与 样本 关系 可 通过 充 
分 锭 计量 了 (z)? 和 表现 出 来 . 反之 , 若 样 本 的 密度 画 数 可 写成 (1. 64) 形 
式 , 其 中 TCz) 一 定 是 该 分 布 的 充分 统计 童 , 这 无 疑 对 寻找 充分 统计 和 量 
是 十 分 方便 的 . 

证 明 : 这 个 定理 的 一 般 证 明 可 参阅 文献 中 中 ,由 于 数学 工具 的 限 
制 , 下 面 只 给 出 离散 场合 下 的 证 明 , 这 时 

patz) = Pet = x2) = Pel = Tis, = +) 
对 尾 意 固定 的 :© ,其 原 像 集合 记 为 
A = {rz: T(r)= 

必要 性 : 设 工 (z) 是 参数 四 的 充分 统计 量 , 则 在 给 定 工 = 下, 条件 
概率 Ps(X 一 x| 本 二 1) 与 参数 8 序 关 , 它 只 能 是 xz 的 函数 ,这 里 记 为 
htz). 另外 ,无 条 件 概率 PetT 一 所 可 记 为 got?), 于 是 对 给 定 的 :及 
所 及 (2) ;我 们 有 

Palx}= Poets 二 二) 
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~ PR om—rT=t) 
一 PeaXKX=7r|T =PT = 717) 
= CT) 。 galt) - 
这 就 是 因子 分 解 形式 41- 64). 
充分 性 : 设 ps(x) 有 上 述 因子 分 解 形式 (1. 64)，, 要 证 明 条 件 概 率 
PC 瑟 一 工 | 工 一 蕊 与 吕 无 关 , 这 只 需 对 满足 PokT 一 当地 0 的 上 证 明 邵 可 ， 
分 两 种 情况 讨论 ;首先 对 在意 XEA(z) 可 有 


P(X =—=xrT=i) 
PatT = 1) 


PA = XIT=) = 


TAX=x) _ px) 
PAT 二 = pp pely) 


FEALrY 


PAX rT ot — BRE) h(x) 
Dgolt)hlyy >) hly) 
EALY | 


最 后 的 结果 与 参数 #8 无 关 . 其 次 , 当 x 多 4 (2) 时 ,IT Cr) 关 t， 于 是 事件 
“区 二 xz ”与 事件 “7 了 (x) 二 i” 不 可 能 同时 出 现 ; 所 以 当 xz 多 4C) 时， 
P(X 一 xz 了 一 和 一 0; 从 而 Poe(X 一 xz| 了 了 一 1) 一 0, 这 也 与 参数 无关 . 综 
上 所 述 ,TC(z) 是 充分 统计 量 , 证 毕 . 

下 面 的 例子 将 告诉 我 们 如 何 使 用 因子 分 解 定理 获得 充分 统计 量 . 
当然 ,在 连续 分 布 场合 ,rz 取 Lebesgue 测度 ,在 离散 场合 ,yp 取 计 数 测 
度 , 这 些 在 实用 场合 都 是 默认 的 . 

例 1.18 设 关 二 (X10, 这 ,) 是 来 自 Poisson 分 布 己 (的 一 个 样 
本 -其 样本 的 联合 密度 钵 数 为 


取 了 T(z) = >， | I 1) 一 , 则 上 式 可 改写 为 


1 


P(X= 7) = [Xe ihr) 
由 因子 分 和 解 定理 知 ,T{z) 一 >)”_. xz; 是 4 的 充分 统计 重 , 这 与 例 1. 16 
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所 得 结果 是 - 致 的 . 可 这 里 方便 得 多 . 

例 1.19 设 关 二 《XX) 是 来 自 均 名 分布 50.) 的 一 个 样 
本 , 其 样本 的 联合 密度 隧 数 为 

bot 7) = "Tn Tron) 

其 中 x 为 最 大 次 序 统计 量 Xo， 的 取 值 , 由 因子 分 解 定 理 知 ,CX(w 是 8 
的 充分 统计 量 ， 

例 上 20 设 羡 = (Xi,"*', 芝 ,) 是 米 自 正 楚 分 布 入 (yz,o?) 的 一 个 样 
本 . 其 样本 的 联合 密度 函数 为 


nr 1 a 
paaltr) = (ro) rexp | — an 一 Ap | 
= (2re') "rexp | — Da 2D + me]] 


从 因子 分 解 定 理 角度 去 看 ,| 可 ”多 吕 xj] 是 Co 的 充分 统计 
其. 但 不 可 说 2)， ,Xi; 是 的 充分 统计 量 , 2”, XX’ 是 的 充分 统计 
量 ,因为 在 估计 a 时 , 仅 用 了 》)” X: 是 不 够 的 ,在 估计 pr 时 ,可 用 
了 >) ，X 也 是 不 够 的 ， 
假如 已 知 k, 则 > CX; 一 2)? 是 of 的 充分 统计 量 . 
假如 已 知 o7, 则 了 "Xi; 或 了 = 汪 沁 ”，X; 是 p 的 充分 统计 量 . 
. 例 1.21 设 和 一 (Xi,…,X.) 是 来 自 两 参数 指数 分 布 的 一 个 样本 ， 
其 密度 函数 为 
zx—a 


Pa.a (Xt) _ Be B | ， a 


0, 并 
记 上 am， So 为 该 样本 的 次 序 统计 量 . 假如 在 实际 中 只 观察 到 前 
rssza? 个 次 序 统 计量 的 值 后 就 停止 试验 ,这 样 的 试验 称 为 截 属 试验 , 它 
在 产品 的 寿命 试验 中 常见 , 当 * 一 ?时 称 为 完全 试验 . 在 截 尾 试验 场合 
所 得 截 叱 样本 (ob ，… 人 co) 的 联合 密度 函数 为 


1 
pal Toy Tn) 一 me "1 
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exp| - [Dz 十 (一 六 二 一 ma | 和 Xo) 
1 一 上 


由 因子 分 解 定理 知 ,| 和 ab， > 甘 四 十 (ma 一 门 立 w| 为 (esp) 的 充分 统 
计量 . 特别 ,当时 , (天 0): >) ,Xo] 为 (oa P) 的 充分 统计 量 . 这 与 
例 1. 17 所 得 充分 统计 量 | Xh，>) ”和 Xe) 是 一 致 的 . 因为 它们 之 同 都 
可 通过 一 对 ~… 变 的 获得 . 由 定理 1. 10 知 , 一 对 -变换 是 不 会 改变 统计 
量 的 充分 性 . 


31.5,4 最 小 充分 统计 量 


-个 分 布 族 受 的 充分 统计 量 往往 不 止 一 个 ,它们 在 “不 损失 信息 ” 
方面 功能 是 相隔 的 ,为 了 取舍 ,我 们 就 要 比较 它们 在 “ 压 久 数 据 * 的 功能 
大 小 .您 能 压缩 数据 的 充分 统计 量 傅 好 . 而 压缩 数据 功能 的 大 小 往往 可 
通过 其 原 像 组 成 的 g 代数 的 包含 关系 来 判别 . 上 面 的 例子 帮助 我 们 更 
深入 地 探讨 这 个 问题 . 

例 1.22 设 (X,,…,X,) 是 来 自 二 点 分 布 6(1, 扣 的 一 个 样本 ,其 中 
0<0<1, 则 样本 的 联合 分 布 列 为 


Pl = x KOT (1 0 必 


其 中 x 一 0,1,1 二 1,-…,n. 根据 因 子 分 解 定 理 , 可 以 判定 下 面 的 nn 个 统 
计量 都 是 充分 的 . 
了 = (XX,, ,XR,.) 
= (CX 十 ,KR 
Ts = (KX + K+ Rss Rs 


3 
| 


T, =X 十 XX; 十 十 多 
为 了 比较 这 个 充分 统计 量 的 压缩 数据 的 功能 ,我 们 来 考察 每 个 
充分 统计 量 的 维 数 dim (了 T,) ,T, 的 取 值 空间 < 中 点 的 个 数 NCTi) 和 
T; 的 一 切 原 像 组 成 的 子 o 代数 了 7'《F,) 所 售 事 件 的 个 数 a(T,) ,这 些 
量 的 计算 结果 列 下 表 1. 2 中 . 
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虽 1.2 几 个 充分 统计 量 的 比较 
| 天 二 0 时 的 ol 了) 


十 


21054 
| 


2512 


211 


从 表 中 可 以 看 出 ,无 论 在 维 数 和 其 产生 的 子 z 代数 所 含 事件 数 等 
方面 ,统计 量 了 , 是 其 中 压缩 数据 功能 最 强 的 充分 统计 量 . 现在 阿 :是 否 
还 存在 其 它 充 分 统计 量 , 它 比 了 , 更 能 压缩 数据 呢 ? 回 答 是 否定 的 . 襄 实 
止 , 峭 若 存 在 这 样 的 统计 量 { 记 为 5), 那 它 的 维 数 不 能 比 工 , 的 维 数 
qim(7T 一 1 更 小 了 . 故 只 能 在 取 值 上 比 了 更 少 一 些 , 如 今 卫 可取 ?十 1 
个 值 .我 们 定 疼 上 5 为 一 个 仅 取 个 值 的 统计 景 


1， 当 > X= 二 0 或 1 
四 [有 :二 机 


让 ， HK, hk 2 
i=1 


PlX, 一 站 一 ols 一 1) 


_ PLX = 0,°" KX, = 0) 
Pes 一 1) 

(1 — 0)* 1 一 8 | 

Qn 1 tr- 1 
与 参数 8 有 关 , 昌 然 这 是 一 个 特殊 例子 ,但 从 中 可 见 一 般 性 ,于 是 可 得 : 
T, 是 二 点 分 布 族 中 最 能 压缩 数据 的 充分 统计 量 ,这 种 充分 统计 量 称 为 

最 小 充分 统计 量 . 

如 何 来 识别 量 小 充分 统计 量 呢 ?为 此 我 们 研究 沿 个 统计 量 之 间 的 
关系 . 设 了. 中 (当地 ?到 (有 窟 7) 上 的 统计 量 .r 一 1,?. 记 -有 ,一 
了 区 知 为 几 了 产生 的 子 了 代数 . 若 注 o 一 5o, 则 了 7 与 了 ;在 压 绽 数 
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据 的 功能 相同 , 常 称 7 了 与 了 ,等 价 , 若 . 知 ( 广 渤 ,,, 则 在 于 编 数据 的 功能 
上 了 比 TT; 强 .利用 可 测 函 数 性 质 中 可知 这 时 存在 吧 o 可 测 范 数 
CT) ,使 得 Cr) 二 了 ATsCx)), 即 荆 是 了 T 了 ,的 晒 数 ,友之 ,车 荆 是 了 ,的 
函数 , 则 一 定 有 他 w 必 ws. 由 此 可 见 , 比 较 两 个 充分 统计 量 在 于 编 数 据 
功能 上 的 天 小 ,可 观察 其 间 的 函数 关系 来 确认 . 当然 不 是 性 意 两 个 充分 
统计 基 之 间 都 有 画 数 关系 ,假如 存在 这 样 的 充分 统计 量 , 它 是 任 一 个 其 
它 充分 统计 量 的 画 数 ,那么 这 个 充分 统计 量 是 最 能 压缩 数据 ,它们 产生 
的 a 代数 也 是 最 小 的 ,这 也 就 是 景 小 充分 统计 量 名 称 的 由 来 , 它 的 一 般 
定义 如 下 . 

定 巡 1149 设 本 二 T(z) 是 定义 在 ( 统 , 宏 , 信 ) 上 的 充分 统计 量 ， 
假如 对 { 澡 , 妥 , 有 到) 上 任 一 个 充分 统计 量 5 一 5(z) ,存在 这 样 一 个 函数 
了 ts) ,舍得 

T(x} = f(SCr)), 工区 5 (1. 65) 
巾 称 了 为 (2 ,和 钞 , 名 ?的 最 小 充分 统计 是. 

在 这 个 定义 中 ,不 同 的 S 并 不 要 求 和 了 是 相同 的 ,这 个 定义 还 可 放 
宽 要 求 ,允许 (1.65) 在 一 个 零 测 集 不 成 立 . 最 小 充分 统计 量 并 不 永远 存 
在 . Bahaur 在 1954 证 明 , 在 因子 分 解 定理 成 立 的 条 忻 下 ,车 样本 空间 
为 欧 氏 的 , 则 最 小 充分 统计 量 必 存在 , 常用 的 充分 统计 量 ( 见 前 面 例 举 
的 一 些 充分 统计 基 ) 都 是 最 小 充分 统计 量 . 它们 常 可 用 因子 分 解 定理 
求 山 . 


31.6 完备 性 


§ 1.6.1 分 布 族 的 完备 性 


我 们 考虑 一 个 参数 统计 结构 (名 ,过 , 字 ), 其 中 作 = {ps: #ER}, 
设 太 x) 是 定义 在 受 上 的 客 可 测 函 数 , 一 般 说 来 ,积分 (如 果 存 在 的 
话 ) 
Egcz) 一 | gz)dPo(z)， 8E 08 
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是 参数 的 图 数 ,因此 ,上 述 积 分 可 以 看 作 是 一 个 变换 , 它 把 有 上 的 
一 个 函数 由 xz 变换 到 上 的 一 个 画 数 East(z7 ,在 这 个 观点 下 ,Esgtz) 
可 以 看 作 是 在 这 个 积分 下 gz) 的 像 . 

这 个 变换 在 概率 论 与 数理 统计 是 要 经 常用 到 的 ,内 为 平均 是 消除 
随机 性 的 好 方法 ,有 时 我 们 还 期 望 这 个 变换 是 一 对 -的 变换 ;至 少 在 几 
了 乎 处 处 意 关 于 是 一 对 一 变换 , 即 

rT 一 hr a.s. PrOEet (x) = Est (lr) 1. 66) 
为 此 只 需要 “除了 上 几乎 处 处 为 均 的 函数 外 ,不 存在 其 它 画 数 使 得 它 的 俐 
慌 为 零 ”, 即 
Eflr) 一 0 二 0， a.s. Pp (1.67) 
四 为 ,倘若 上 zy 和 克 4) 的 像 是 相同 的 , 那 必 导 吾 


jE (x) -页 (z)jdaPo 一 0 
于 是 立即 可 从 (1. 67? 推 得 (1. 66) 
x) Oo hr) a,s. Pe 
而 俞 题 (1. 57) 成 立 与 分 布 族 人 有 极 大 的 关系 ,不 是 尾 -个 分 布 族 都 其 
有 命题 1,.57) 这 个 性 质 , 具 有 这 个 性 质 的 分 布 族 称 为 完备 分 布 族 ， 
定义 1.20 设 ( 人 党, 吉 ,F) 是 一 个 参数 统计 结构 , 共 中 人 2 二 {Pp: 
8 如 ;人 根 旭 对 于 玉 可 测 函 数 所 z); 由 


[gcrdaP, =0, YoER 


J 


总 可 扒 出 上 rz) 一 Das 了 Po 则 称 此 结 梅 (< 和 有, 安 ) 为 沈 备 的 ,或 称 分 
布 族 党 是 完备 的 . 
例 1.23 二 项 分 布 族 是 完备 的 ， 


二 项 分 布 族 光一 :p(x 0 之 pp 之 1}; 其 中 人 ja 
"7, 工 二 0 ,1 .2,3 很 如 gr) 满足 


FE,$tr) 一 we "| pp"(1 一 pI" 一 僻 

二 4 区 
由 于 (1 一 p" 一》 Cp ,| ,所 以 
一 自 ' 


二 


31.6 完 备 性 “65 ， 


0 0 
上 式 诺 边 是 p 的 名 项 式 , 它 对 任意 pE€E 00,1) 均 为 零 , 这 只 有 其 系数 几 
乎 处 处 殉 为 零 才 能 微 到 , 即 $x) 一 0,8. 8s. 也,, 所 以 二 项 分 布 族 是 完备 
的 . 
例 上 24 下 态 分 布 族 (NCp,1),pE RI 是 完备 的 . 
如 果 Br) 满足 Ehtxr} 二 0， YW jE 人 R， 即 


| gz ye 


入 一 二 
| C— 1 g(r) pt 0 


1 
BT 


dr =0, YAER 


2 


_ 1 
| HT)e » er”dr = 0, YAER 


上 式 太 边 是 函数 $Cx)e“i” 的 双边 拉 氏 变换 ,根据 拉 氏 变换 的 唯一 性 知 


grye 3” = 0, a.s.P, 
由 于 e 关 0, 所 以 
$xr) C= 0, a.s.P, 
这 说 明正 态 分布 族 WP 1) : py€ER}) 是 完备 的 . 
不 完备 的 分 布 族 也 是 常见 的 . 
例 1.25 正 态 分 布 族 {N(0,02) : aER ;中 不 完备 的 . 
要 说 明 一 个 分 布 族 是 不 完备 的 ,只 要 能 找到 这 样 一 个 函数 #xz) 它 
能 使 是 Eeogtzy 一 0 但 zx) 本 身 不 是 岂 平 处 处 为 零 昌 可 . 
因为 这 个 分 布 族 中 和 任 一 个 密度 函数 都 是 侦 函 数 , 故 对 $Cr) 一 x( 其 
它 奇 函数 都 可 以 ) 就 有 
Eftr) =0, YoER! 
但 这 个 是 服从 正 态 分 布 w(0,c) 的 随机 变量 X 取 值 ,显然 有 
天 1 一 1 
所 以 这 个 正 柱 分 布 芯 {A(0sez) : gER1}) 是 本 定苗 的 . 


$3 1.f.2 完备 统计 最 
定 必 1.21 设 T 是 统计 结构 ( 千 , 久 ,=) 上 的 统计 量 . (了 ,省 ， 
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多 站 是 由 工 诱导 的 统计 结构 , 候 如 后 者 是 完备 结构 . 则 称 工 为 完备 统 
计量 . 
显然 ,很 如 结构 (- 和 ,到 , 党 ) 是 完备 的 , 则 统计 量 了 的 诱导 结构 
(3 客 ,527) 也 是 完备 的 :这 是 因为 , 若 贡 世 满足 
E(t} = 0, YE 


则 由 积分 变换 可 知 
Es$(t) 一 | ,staPpy 一 | $Cr) dPuce) 
所 以 由 原 结 网 的 完备 性 可 得 
PECTY) = 0 a.s. Ps 
从 而 


$2) = D， a.s. Pr 
但 是 可 能 会 出 现 这 种 情况 ,诱导 结构 是 完备 的 ,而 巾 结 愧 是 不 完备 的 . 
例 1.26 在 例 1.25 中 已 证 明了 正 态 分 布 {IN(0,o) :gER'} 是 
不 完备 的 ,但 是 ,统计 量 7 一 3”,X? 都 是 完备 统计 六, 其 中 CX4，…， 
已 ,) 是 取 自 正 态 剖 体 NC0,0:) 的 一 个 子 样 . 


事实 上 7 一 ,XX 一 Ga| 如 , 却 :|， 其 密度 函数 为 《2 
1 -二 


六 一 一 es 让 


四 并 
2 


r 


假如 gt 满足 下 gt 一 0。 WoERT, 即 

_ 太 | _ 寺 

| ge e wdi=0, YoER- 
上 式 左边 是 函数 g(1)ti “的 单 边 拉 普 拉 斯 变换 ,由 拉 氏 变换 的 唯一 性 
知 


$V = D0, a. s. P7 


当 12>0 时 .tf 不 全 为 零 ,所 以 
pt) = 0, a. s. PT 


$1.7 指数 结构 <“ 67。 


从 而 诱导 分 布 族 1pekt) : 和 及 +} 是 完备 的 ,统计 量 一 >， 和 也 是 
完备 的 . 


31.7 指数 结构 


Al17.1t 定 尺 与 例子 


定义 22 和 设 ( ,有 ,|: 8E 和 8)) 是 可 控 参 数 统计 结构 ,假如 其 
密度 肾 数 可 表示 为 如 下 形式 


- 下 
ps(x) = eexp{ DAOT, Cr Nz) 01. 68) 
J 一 1 


并 且 它 的 支撑 {x7 : zekzr) 盖 中 不 依 藉 于 0 则 称 此 结构 为 指数 型 的 统计 
结构 ,简称 指数 结构 ,其 中 的 分 布 族 称 为 指数 族 , 这 里 的 0<c(o)， 
cgoseceafo<eoc 诸 了 (z? 都 是 与 恕 无 关 , 用 地 有 限 值 的 色 可 测 画 
数 ,& 为 正 整 数 ,h(zx) 守 0. 

指数 结构 在 数理 统计 中 发 挥 着 重要 作用 ,理论 上 的 许多 重要 问题 
只 在 指数 结构 中 才 有 比较 彻底 的 解决 . 指数 型 分 布 族 概括 了 大量 的 常 
用 分 布 族 的 共同 特征 . 

例 127 正 态 分 布 族 {tprsec 03 一 (no 后 RXR 是 指数 型 
分 布 族 , 因 为 它 对 Lebesgue 测度 的 密度 函数 为 


fr- py 
pA = — le WwW 一 expf- 和 一 束 上 + 其 z] 
2AE IAS 2 2erz 
-多 £ ] 
取 etp0) oe a 一 一 75(z) 一 ] 于 是 


Pel) = ciproexp{e tp or ctr) x } 
特别 ,去 一 (是 来 自 正 态 务 布 mt 和) 的 一 个 样本 时 ,其 
料 本 的 联合 密度 函数 可 表示 为 


petir) = [etpsa) "exp {e, CAs) Da iT Se} 
;1 i=1 
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它 仍然 是 指数 型 分 布 族 , 
例 4.28 二 项 分 布 族 是 指数 分 布 族 . 
因为 它 对 计数 测度 的 概率 密度 项 数 为 


i 
patx)— | 0" 
Lr 


| 


1 : 各 
i n | | mm ren 
‘TI! 
= ctfyexpio( rh), r= Oly ,nN 
其 中 cf 一 (一 有 ea 一 in Fy 


例 1.29 风向 分 各 族 [RC0.0 3 ER' 不 是 指数 型 分 布 族 ; 因 为 
它 的 支撑 (rr : potr) 汪 01 居 束 于 未 知 参 数 8, 同 样 , 双 参 数 指数 分 布 族 
Pin (XT) = le 7, TA OERXRt 
的 支撑 {x :p(tz) 记 0} 二 (p450) 依 赖 于 未 知 参 数 1x; 所 以 它 不 是 指数 
型 分 布 族 . 仿 如 yg 已 知 , 那 它 就 是 指数 型 分 布 族 , 因 为 此 时 ,其 支撑 不 

依赖 于 未 知 参 数 sf, 而 其 密度 旺 数 又 可 写 为 
Pet) = coexpicto tr 一 phtr) 


其 中 co) 一 十,c.(0) 一 -六 ,hh(z)=1 又 如 Weibull 分 布 族 


和 | 二 1 


pz) = 2 二 | exp{— | 3) ,> 0 E 及 X 下 + 


不 是 指教 浊 分 在 旋 , 央 为 在 区 未知 时 ,i 不 能 用 有 有限 丰 工 的 路 数 表 
示 . 假如 可 已 知 , 它 是 指数 型 分 布 族 . 
例 1. 3 和 0 Gamma 分 布 挨 {Galey2) : aER*',AER ;是 指数 型 分 
布 族 , 因 为 它 对 Lebesgue 测度 的 密度 函数 为 
可 


百 。 民工 )】 一 Tay® ee 


= Feaye*P!— Ar 二 (a 1)inze} 


= eta Aexplic ta hr etaAnzr}, > 站 
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其 中 Cia:aA) 一 ja vegasyh)y 一 —Avcs Ca, AD oar 12. 
假如 在 Gamma 分 布 中 引 人 第 三 个 参数 门限 参数 关 , 其 密度 天 
数 为 


ba A 2 
Puaat = 一 Fe _ pe > a 


这 种 三 参数 Gamma 分 布 族 就 不 是 指数 型 分 布 族 , 因 为 其 支撑 依赖 于 
未 知 的 门限 参数 . 


$ 1.7.2 指数 型 分 布 族 的 标准 形式 


若 在 指数 型 分 布 (1. 68) 中 重新 设置 新 参数 w 一 人 ro ,twi) ;其 中 
ww — ce {0), 了 一 1 不 
假如 能 从 此 函数 方程 组 中 了 唯一 地 解 出 8 二 (wy,… ,tw) ,那么 再 令 
ce“ (WwW) 二 c(8(w)), 把 这 些 代 加 (1. 68), 妈 得 密度 函数 的 男 一 形式 


是 
paz) = ee" (Wexp{ aoTiCr) h(x) C1. 69) 
j=] 


《1. 69) 与 C1.68) 在 函数 结构 上 并 无 本 质变 化 ,它们 十 要 差别 在 参数 选 
择 上 ,因此 老人 参数 8 的 参数 空间 日 与 新 参数 w 的 参数 空间 ( 记 为 人 0) 会 
有 所 变化 , 形 如 (i, 68 的 分 布 是 先 在 母 中选 出 9, 然后 通过 计算 ce(9)， 
caicxt8y 二 能 确定 下 来 . 而 形 如 (1. 69) 的 分 布 , 只 要 在 各 中 选 出 
w; 计 算 < (Cw) 就 可 确定 . 在 研究 中 形式 (1.69) 特 别 方便 , 故 特 冠 取 * 标 
定义 1.23 形 如 61.69? 的 密度 函数 称 为 指数 型 分 布 族 (1,. 68) 的 
标准 形式 . 其 中 新 参数 w 使 在 和 上 的 积分 | 


是 
0 | exP1 > oz) EACILEPICS < ce 
人 j=1 
成 立 的 空间 称 为 目 然 参数 空间 , 记 为 内 ,有 即 
让 下 上 
= w= G0) 0 | exp{ PwC) hr dptz) < o0) 
人 j=1 | ' 


C1. 703 
例 1.31 -二 项 分 布 族 是 指数 分 布 族 , 它 的 密度 函数 为 
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a ， 
pastry 二 《1 一 的 ne 因 4 圭一 Oy sn EE 《0, 1》 


Tt 
车 令 
=| 0 
we 一 nj 
可 以 解 岂 
[a 
i 


所 以 二 项 分 布 族 的 标准 形式 为 
pu tt) 一 【1 十 ee 3 工 一 D1 
I 


其 自然 参数 空间 82 二 (一 00,00). 
例 1.32 正 态 分 布 旗 是 指数 型 分 布 族 , 它 的 密度 咕 数 为 


1 -总 天 加 | 
paar) = /na exp | 各 < 一 3 ji 
(ur) —=RxXR 
车 令 
Ye 一 点， tw 一 一 却 : 
可 以 解 出 
| -1_ 1 
二 Zeus ” 呵 ~ Za0, 
所 以 正 态 分 布 族 的 标准 形式 为 


总 
ww 
一 WW -二 3 
六 ee a ne wexp {TeT 十 To } 


其 自然 参数 空间 名 二 有 RXR . 


$1.7.3 指数 型 分 布 族 的 基本 性 质 


下 面 用 指数 型 分 布 族 的 标准 形式 (1. 69)? 讨 论 其 基本 人 性质 ， 
定理 1.12 自然 参数 空间 人 为 凸 集 . 


$17 指数 结构 “71* 


证 明 : 因 为 
了 和 1 

= | expl DwT, dntr) < oo 
~ i=] 


其 中 djya (zr) 二 h(xrjdgtz), 设 Wi 二 Cy WW 二 (te EE 
下, 又 设 Das< 1 , 往 证 如 一 an 十 (1 一 0 一 《ED 事实 上 


一 [, [exp | Sw Tz) | J] [exe ( WooT J] dp (x) 
- j=1 j=1 


于 
| exp{ DTiCr) jdamca 
sexP1 之 ， 


1~- 开 


< 人 et DT jamcn | [exe NiTr) ji cz) | 


最 后 一 个 不 等 式 是 采用 了 Heélder 不 等 式 ,由 于 Ww ,Ww”E 忆 ,所 以 不 等 式 
右边 两 个 因子 中 的 积分 存在 ,从 而 得 到 wE, 这 说 明 丁 避 是 同 集 ,证 
毕 . 

这 定理 告知 , 若 吕 在 了 中 有 内 点 , 则 总 的 全 部 内 点 构成 了 上 的 
一 个 凸 区 域 ,特别 在 & 一 1 场合 , 旭 为 一 区 间 { 有 限 或 无 限 , 开 的 , 闭 的 址 
半 开 半 闭 的 都 有 可 能 ). 

定理 1.13 设 #$(x) 是 .党 上 的 党 可 测 也 和 数 . 必 对 一 切 Ww 二 《twi， 
EN; 有 (以 下 把 有 CT) 吸收 到 dy 中 去 , 仿 记 为 do) 


此 
| wm lexp { > uiTiCz) dy < co (1.71) 
j=1 
车 记 zyme in j= 1 + ! 志 ,即将 To} 看 作 基 复 变量 的 实 部 , 则 
i) 积分 
二 
本 (Z) 一 | wmexp1 Dz Tx) du {1, 72) 


在 区 域 
A= T= zi Re Oj 二 in 二 1) | 
内 每 点 有 意义 , 且 为 在 个 复 变 量 z1,… ,zi 的 解析 函数 . 

(i) 在 区 域 A 内 ,44z) 对 每 个 z; 的 任意 阶 偏 导 数 可 通过 (1.72) 式 
在 积分 号 下 求 导数 获得 , 即 对 (1.72) 式 积分 和 求 导 运算 可 以 交换 ， 


“ 72 。 第 一 章 基本 概念 


明 : 由 于 (re, ,…' ti) 全 全 和 


时 
CrIexp { 之 Cr YT CT) 1 | 


= |$(x) |exp 1 D7, Cr)) 


所 以 积分 (1.71) 在 A 内 每- 点 有 意义 ， 这 里 使 用 了 
|exp {iy,T tx}}|=1 
以 下 把 避 的 后 六 部 分 和 (Ci) 结合 起 来 证 明 . 现任 取 4 的 一 内 点 
这 时 着 i) 为 n 
的 肉 点 . 现 考 察 A(z) 对 xz 在 zt 处 的 导数 ,在 这 个 过 程 中 ,就 把 x;,*…， 
zi 看 作 固定 前 为 此 把 $x)exp{ >， ,zjT;(z)} 分 解 为 实 部 和 虚 部 ,而 
每 一 个 你 中 分 解 为 下 部 与 筑 部 , 即 


二 
pire’ “ee? 


Par, 二 DY, 
一 g(rye’’ ‘cos{ Sg,) ;| 十 re sin’ >» 之 3 让 


7 一 2 


二 A AT) 
二 A CD A CE) LA Cr) ~ 1A (x) 


其 中 
1 ， 当 A,(x) 0 
A 
和 关 ACr} 守 0 1 .9 
rl; 
口 ， 过 0 
4 二 | ， 当 CCz》 人 


A A 0 
再 引进 如 下 测度 
dp = AT Cr)dp, dp = AT (x}dp 
dp — Ai (xydpodp, 一 4 (rd 
于 是 4kz) 作 为 = 的 随 数 可 以 写成 
Atz}y = | ed 站 — [eid +i [am 一 1 [eam 
由 于 上 式 右 端 四 个 积分 形式 相同 ,所 以 只 才能 证 月 第 … 个 积分 为 解析 


$1.7 指数 结构 “7?3。 


函数 就 可 以 了 ,其 余 全 可 以 类 似 证 得 . , 
因为 (wi yzoh) 是 旭 的 内 点 ;上 放 存 在 5 计 0, 使 得 当 |tw) 一 wi | 二 8 
时 s(t sR) 是 有 4 的 内 点 ;从 而 使 


A(z) = | eeadn Cx) (1.73) 
存在 有限, 于 是 , 差 商 的 模 
(wi) | AT e120 d 
| 2 B11 一 加 | 
由 于 对 任意 实数 a 和 复数 z, 在 lz|< 人 3 时 ,有 
[ 1i -2 Ee py lal"s -er 
| <» | 所 一 nn! < 8 


- 邦 知 ,在 | ww 内 可 分 4 的 入 可 下 


3 | Be SIT 一 | edT) 1 
但 是 
[zd)T, TT.>0 
a 二 OIT | =4 ， . 
{zx 一 他) 了 ,0 
于 是 
te, eT 1 5 ] 
i 一 1】 了 到 | 个 加 [5]T 
el 1 a 云 词 | 1 1 2 le ) | 


由 于 (zi 士 人 ;220sz 科 全 甩 , 套 上 式 右 端 可 积 ; 从 而 对 (1. 73) 式 可 使 用 
Lebesgue 控制 收复 定理 ,极限 号 与 积分 号 交换 , 杆 尼 得 


Ce) 一 站 Ce -| 
和 3 


n I OO— 


一 |, eneoT Cr)dp (x) 


上 式 石 端正 是 A(Z) 对 zi 在 x? 处 积分 号 下 求 导 的 结果 ， 

使 用 类 似 方 法 ,并 利用 归纳 法 , 即 可 证 明 ,A(z) 对 zy zi 的 各 阶 
导数 存在 , 且 可 在 积分 号 下 求 导 ,证 毕 ， 

定理 1.14 没 刁 二 (六 /:… ,区 是 素 自 指数 型 分布 标准 形式 
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《1.69) 的 一 个 样本 , 则 有 
Ci) 统计 景 


[TCR TX)) = (PT), DIT)) 


是 指数 型 分 布 族 的 充分 统计 熙 . 
(ii 充分 统计 量 的 期 望 和 协 方 差分 别 为 
oncCw) . 
ET 一 一 站， 了 一 
Cov TAXITAXN 一 一 2 ， j= 


其 中 cow) 一 fc Cw 了. 
证 明 : 由 (1.693 可 写 出 样本 XX 的 联合 密度 郴 数 


上 
Pel XY = clwexp{ DT XY PCX) 
了 


《T，747) 


(C1. 75) 


wR 1. 76) 


《1. 77) 


其 中 ct) 一 [Le Cw 下 ,CKD 二 表 CT) 有 Cx) ;y 诸 了 ;CX} 如 (C1, 74) 所 示 ， 


由 因子 分 解 定 理 中 得 (0 


以 下 再 证 CD. (1. 77) 对 控制 测度 dy 在 :又 - 上 的 积分 为 1, 即 


上 
ew) | expt Dj wT XI AACE Yd 一 1] 
au ji 


由 于 (1. 77) 仍 为 指数 型 分 布 , 故 可 对 上 式 两 边 求 导 ,得 
Se | expl Zr wTAX) (dm 十 


cw) | ,7, (exp! Pw, (XI VRCX) dA) = 


Cw) 一 
0) + ELTX)] =— 0 


由 此 可 得 (1.75). 再 对 (1. 75) 两 边 求 导 ,可 得 


a idnctw) | 
he | 加 


有 (一 ELTX)) 


9 
wo; 


j=1 


| — ecw) | 了 ， CrJexp1{ ywT， 长 卫 jhcr)dp) 


$1.7 指数 结构 " 75+ 


wy, ELT;(X)] 
dv COW) 


c(w) | TIT ryexp{( > ro 下 (dr 
和 1 


= EIT XY ETCX)] — ELT XYT (RX) 
一 一 Cov,l T,(X),T CX)) 
这 就 证 明了 (1.75) 式 ,证 毕 . 
例 133 设防 服从 对 数 正 态 分 布 LNICn ,ea 当 >0 时 ,对 数 正 
态 分 布 的 密度 函数 为 


1 (lnz 一 x):| 

2 二 Expi— ~ 

Ds Dig p Do : 
二 BS rexp| flnz 一 nr). 
DN a 工 


著 令 四 一 Ar 天， 和 s 一 一 172 叶 , 则 其 标准 形式 为 
Pail) 一 CE (wato)exp {wlnzr 十 zosflnr) AC) 
其 中 
ce’ (Crt) 一 | 一 只 exp{ 2 ， 站 tzZ 一 1 
车 从 该 分 布 抽取 一 个 容量 为 n 的 样本 (XX ,… ,区 ,). 虽 容 易 春 出 ， 
其 充分 统计 量 为 


i 
-一 1 


(TXT:(X7)) 一 | > nx Si (InX,)*) 


以 下 来 求 它们 的 一 ,二 阶 第 ,为 此 先 计算 cfreol yt 一 [ec (rwistw2a) 了 的 
对 数 .然后 用 (1.75? 和 (1,76)? 求 出 它们 的 期 户 . 方 莽 和 协 方 差 . 


好 _ We Pee 
lne (re ,ws) 一 5 In| i | 十 ja 
Ance nw _ 加 
Ro De np;y 均 ELTI(X) ] = np 
Flne EE 


Be 一 Be, 二 一 AG 圾 Var[T.{X) | 二 no! 
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n[ 十 让 , 吉 E[T(X) 1 一 lo 二 2) 


了 
一 四 了 ? .2 
二 2 at n(29 十 4 


巷 VarlT,CX)| = nl 2 十 4p2d21 


Blnec ye 。 2 
BR 2npg0: ,页 Cov[TCXY,T,X) 1 一 22 


定理 1.15 设 关 一 (人 有) 是 来 自 指数 型 分 布 的 一 个 样本 ,其 


隔 合 密度 两 数 为 


中 
Fu lt) = Cwexp{ Dw T(r) jw En 


2=] 


其 中 (TC sz 如 [174) 折 示 , 且 为 及 的 了 集 , 翁 如 吕 有 内 
点 , 刚 统 计量 (TiCx),… ,T(zT)1 是 完备 统计 量 . 


由 于 证 明 较 为 元 长 ,这 里 就 不 再 叙述 了 ,有 兴趣 的 读者 可 贿 阅 陈 希 


项 的 专著 1. 用 这 个 定理 可 以 验证 许多 常见 统计 量 的 完备 性 . 


ko 


Di CI 上 的 


参考 文献 


陈 希 括 , 数理 统计 引 论 ,北京 :科学 出 版 社 ,1981 

或 平 , 陈 希 希 , 陈 桂 最 , 吴 传 义 .参数 估计 .上 次 :上 海 科 技 出 版 社 ， 
1985 

张 范 庭 , 力 开 率 . 多 元 统计 分 析 引 论 , 北京 :科学 出 版 社 ,1982 

严 土 健 , 刘 表 芳 . 测度 与 概率 . 北京 :北京 师范 天 学 出 版 社 ,1994 

莫 诗 松 , 王 静 龙 . 数理 统计 . 上 海 :华东 师范 大 学 出 版 社 ,1990 

Bickel P J,Doksum K A. Mathematical Statistics, San Fancisco: 
Holden-Day lne. ,1977. 中 译本 : 李 泽 正 , 王 嘉 澜 , 林 享 洋 . 数理 统 
计 . 兰州 :兰州 大 学 出 版 社 ,1991 

Singet S P K. Large sample methods in statistics. New York : 
Chapman-Hall, 1993 

Halmos P R,Savage I J. Application of the Radom-Nikodym 


习 题 一 - 77 - 


theorem to suftficient statistics. Ann Math Statistics，1949， 
20. 225 一 -241 

9 Cramer H. Mathematical methods of Statistics, Princeton Univ. 
Press,1946. 中 译本 : 魏 宗 舒 , 郑 扑 , 匡 锦 详 . 统计 学 数学 方法 ,上 
海 : 上 海 科 学 技术 出 版 社 ,1966 

10 陈 善 林 , 张 浙 . 统计 发 展 史 ,. 北京 :立信 会 计 图 书 用 品 社 ,1987 


习 题 一 


1.1 写 出 下 列 统计 问题 的 统计 结构 . 

(1) 在 测量 未 知 量 产 的 问题 中 , 若 已 知 测量 仪器 有 十 0. 1 的 偏差 ， 
而 误差 仍 是 方差 已 知 的 正 态 变 量 ; 

(2) 在 (1) 中 ,车 已 知 测量 仪器 有 正 的 偏差 ,但 偏差 大 小 未 知 ,其 它 
不 变 . 

1.2 写 出 下 列 统 计 和 问题 的 统计 结构 . 

(1) 一 地 质 师 在 一 老 河 床 测 量 个 闭 石 的 最 大 直径 ,车 已 知 直径 的 
对 数 服从 均 慎 为 上 和 方差 为 到 的 正 态 分 布 ; 

《2) 一 区 虫 产 出 的 卵 歼 服从 均值 为 1 的 Poisson 分 布 , 孵 一 旦 产 
出 ,每 个 孵 能 贱 出 幼虫 的 概率 为 9, 并 且 每 个 卵 的 孵化 是 相互 独立 的 ， 
一 位 昆虫 学 家 对 ”个 尾 虫 观察 所 产生 的 卵 数 蕊 和 孵化 出 的 却 虫 数 了 ; 

(3) 已 知人 的 体重 了 与 身高 有关, 一 般 以 为 较 高 的 人 体重 较 重 ， 
且 有 线性 趋势 ,但 局 样 身高 的 人 的 体重 且 不 会 部 相同 . 如 今 测 量 ## 个 人 
的 体重 y, 和 身高 x; ,并 设 有 如 下 关系 

Y= 二 Bri 二 TE = 11s sn 

其 中 诸 e 相互 独立 ,Erfs) 一 0,Varfe 一 or 一] 而 ea 加 和 天 都 
是 未 知 荫 . 

1.3 设 (多 , 到 ) 是 一 个 统计 结构 ,证 明 : 

(1) 若 孕 " 只 含有 不 党 于 可 数 个 元 素 , 则 钼 结构 是 可 控 的 : 

(2) 若 有 玫 只 会 有 不 多 于 可 数 个 分 布 , 则 此 结构 是 可 控 的 . 

1.4 设 随 机 变量 天 一 Ga (Ce;4)) 革 ec 为 止 实数 ;证明 cx 一 
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GatayAie) ;车 太一 Ga(5,.0.01), 计 算 概 率 P(X>200). 

1.5 设 随 机 变 莉 和 ~ 一 Cake , 则 了 一 和 十 上 服从 二 参数 Gamtna 
分 布 .其 中 jy 称 为 门 眼 参 数 , 请 写 出 的 密度 函数 ;并 计算 ElF) 和 和 
Var(Y)., 

1.5 设 随 机变 量 久 一 NG60), 则 了 二 芝 十 a 服从 二 参数 对 数 正 
态 分 布 ; 共 中 a 称 六 门限 参数 ,请 写 出 Y 的 密度 范 数 ,并 计算 已 (CY)》 和 
VartY), 

17 设 随 机 宏基 革 一 zpCA) 证 明 : 对 任意 非 负 实数 1 与 ,有 
《无 记 刀 性 ) 

POXt+ ss) P(X) 

1.8 设 随 机 变量 四 ~ 一 Xx:(2), 证 明 ; 自由 度 浪 2 的 六 分 布 的 a 分 
位 数 (0< 二 a 二 1) 为 一 2in{1 一 a). 

1.9 分 布 沙 数 表 和 分布 的 分 位 数 表 往往 愉 对 自由 度 nn 夺 30 
给 出 , 当 ?2>>30 时 可 用 正 态 分 布 近似 ,计算 

(1) 自由 度 为 35 的 六 变量 大 于 45 的 概率 ; 

《2) 自 由 度 为 40 的 六 分 布 的 0.05 分 位 数 . 

1.10 设 随 机 变量 半 一 Gata;), 则 了 = 下 站 服从 倒 Gamma 分 布 ， 
请 写 出 了 的 密度 函数 ,并 计算 ECY7 和 Var(7). 

1.11 车 随机 变量 Xec 和 一 和 Te 有 相 局 的 分 布 , 刚 称 随 机 变量 
的 分 布 关 于 点 上 对称 .如 果 于 有 密度 函数 p(x); 则 其 关于 点 < 对称 的 

ptr —e) = 一 pe mz), YrAEeER 

1.12 设 随机 灾 量 久 ~Bela,b) ,证 明 : Y=1--X~Bel8,a). 

1.13 设 随 机 变量 半 ~Z(a,b) ,证 明 ; Y= 二 XX 一 ZB,ay. 

1.14 设 F(m.n:) 是 自由 度 为 nvns 的 下 分 布 的 4 分 位 数 ,证 明 ; 
百人 ri 一 [Pen '. 

1.15 证 月 下 述 结 论 . 

《1) 设 F(x) 为 连续 糊 机 变量 XX 的 分 布 歼 数 , 册 

Y= F(X) ~ UO,1) 

(2) 设 YY 一 U0,1), 则 二 一 21nY 一 (2); 
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(3) 设 世 ,,……'; 及 ,是 连续 随机 变量 狠 的 nn 次 疯 察 值 ,ix) 是 下 的 
分 布 函数 , 刚 一 2》 ,InF (XD)~ C2n). 

1.16 验证 ;自由 度 为 2 和 张 的 下 分 布 的 a 分 位 数 是 

FPR) = RECO CO— a 1j, 

1.17 设 XX1,*… ,XX 是 米 自 和 NCpso) 的 一 个 样 桔 ,了 1，…, 了 ,是 来 
自 NN(0,o) 的 一 个 样本 , 且 诸 X; 与 诸 了 相互 独立 ,证 明 ， 
(XE) fn 
全 十 十 了 /ns 
其 中 Fon ,ns;7) 称 为 非 中 心 参 数 为 7 了 = /20) 的 非 中 心 下 分 布 ,其 
说 度 函 数 在 #0 为 零 ,在 #2>0 为 


六 二 


~ Flin rin -> 


大 (玉生 ?ay 一 


Cn 


全 十 mm mn a 
并 求 其 期 望 和 方差 
1.18 定义 在 (8, 宅 s) 上 用 密度 函数 
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2 


Tr[ 闻 | war 
表示 的 概率 分 布 称 为 一 般 上 分 布 ,其 中 PER 称 为 位 置 参数 ,o>0 称 为 


尺度 参数 ,>0 称 为 自由 度 .证 明 ， 
E(X) = pp, rv>1 


工 


plxsa0 sy) 一 


VartX) = v2 


1. 19 设 ( sn 3, 求 了 二 外 | 十 天 。 的 
分 布 . 


1. 20 设 CX 下) 一 Mn pis pr) ,在 给 定 太 1 一 jy 的 条 件 


* 80 -。 第 一 章 基本 概念 


下 , 求 瑟 | 的 条 和 件 分 布 . 
1.21] 设 一} DEEP 为 任 一 了 并 天 阶 阵 ,证 有明 


CE ~ N.Cu,CEC') 
1.22 设 
“| [2 2 | 


所 
到 一 ~ N, ; 
网 人 (5 2 | 
其 中 互 | 与 4 都 是 各 维 向 量 , 互 :为 囊 阶 方 阵 : 互 ,22 .z 为 相应 矩阵 , 且 
| 三 :| 关口, 让 明 
COX NE)s 
C2 下， 与 于; 相互 独立 的 充 要 条 件 是 去 :一 0; 
《3) 在 给 定夺 :一 5 下 :的 条 件 分 布 是 
Nt + Tiake Crs — Ma} El — E1222. 
1.23 设 千 一 N(01) 8 一 NO,4) ,是 成 与 区 独 立 , 求 太一 
天 1 十 瑟 : 和 站 一 天 -的 联合 分 布 - 
1,24 证明 : 一 个 = 元 随机 变量 天 一 (服从 闫 元 正 态 分 
布 的 充 要 条 件 是 玉 的 诸 分 量 的 任 一 个 线性 组 合 都 服从 一 无 正 态 分 布 ， 


1.25 设 | ”| 为 二 元 正 碍 变 其 ,其 分 布 为 Na | | ,| 下 


1 1 
给 定 革 上 ,Y 的 条 件 分 布 和 给 定 了 下 ， 入 的 条 件 分 布 
太 ， A of POT | 
读 一 一 ， 对 ,1 是 
1.26 疫 癌 “| 51G: 咯 | 下 
YA 1 | 尘 二 生 5 一 二 名] 
ot VI pp og a 


为 相互 独立 的 标准 正 态 变量 . 
1.27 设 关 /一 Gala 和) ,六 一 Gatlas ;0), 且 芝 | 与 X, 独立 :证明 ; 
CY 一 入 十 六 与 Ys 一 尽 ./A(XI 十 苹 ;) 独 立 , 是 ~ Betal as)， 
(C2) 二 站 十 六 2 旺 了 一 区/ 独立, 且 卫 ;一 Za as)， 
1.28 设 系 一 Na XNw(CO0,m)， 且 成 与 和 独立 ,寻找 了 
一 并 | 十 天 ,Ta 与 了 :一 并 , 一 X 十 的 联合 分 布 ， 
1.29 慢 革 与 天 ,是 相互 独立 号 服从 同一 指数 分 布 二 xp 的 随 


习 古 一 "81* 


机 变量 ,寻找 四 一 斑 , 一 和 和 了 ,一 于 ; 的 联合 密度 函数 种 了 , 的 边际 密 
度 函 数 . 
1. 30 设 总 体 王 有 密度 隔 数 
pix) = | 站 < 并 
0， 其 它 
从 该 总 体 随 机 抽取 一 个 容量 为 4 的 样本 ,计算 概率 PCX>0. 5). 
1. 31 设 Xi,…:X。 是 来 自 柚 eibull 分 布 的 一 个 样本 ,其 分 布 画 数 
汶 : 当 入 0 时 FC 一 0, 当 ww 之 0 时 
Ftx)=1C— exp{— [三 | | 
其 中 天 全 0 为 形状 参数 ,7>0 为 尺度 和 参数, 证明: 了 一 min( 六 1 , 江 ,) 
扔 服从 Weibull 分 布 . 
1. 32 设 丑 四 和 区分 别 为 容量 = 的 样本 的 最 小 和 最 太 次 序 统计 
量 , 证 明 : 极 差 RR, 二 关 ; 一 芝 u; 的 分 布 函 数 


Fecal CFO +t) FO ‘pedy 


其 中 所 (Cy) 与 疡 (2 分 布 为 总 体 的 分 布 函 数 与 密度 图 数 、 

1.33 ” 当 总 体 汶 指数 分 布 Erp( 和 均匀 分 布 避 C0,1) 时 ;分 别 寻 
求 容 量 为 n 的 样本 极 差 RR, 的 分 布 . 

1.34 设 总 体 久 的 分 布 量 数 和 密度 函数 分 别 为 F(z) 和 p(xz), 又 
设 关 .和 六 分 别 为 从 该 总 体 抽 取 容 量 为 n 的 样本 的 极 小 和 极 大 次 序 
统计 量 . 寻求 样本 极 差 全 = 二 六,,) 一 及 (和 样本 中 程 Mf 一 【 局 十 居 16] /2 
的 联合 分 布 及 各 自 的 边际 分 布 . 

1.35 设 尺 。，，…, Xi 是 菜 样 本 的 次 序 统计 景 , 当 莽 去 其 中 前 
个 和 后 让 个 变量 后 ,用 剩 下 nn 一 2k 个 次 序 统计 量 计算 平均 

Tr 一 7 

这 个 平均 称 为 切 其 平均 ,其 中 天 <n/2. 请 指出 雪 断 平均 的 期 望 与 方差 
存在 的 条 件 . 

1.36 ” 设 苹 ,XX, 是 来 自 总 体 分 布 恩 数 Ftzr) 的 一 个 样本 ， 
开 (z) 为 其 经 验 分 布 晃 数 
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“82 " 
Fx)= S11, 
n ; | ;三 六 


证 明 ， 
VATF C2) Fl) Sr NF FOND 
设 Xl， 人 … 帮 + 是 来 自 标准 正 态 分 布 总 体 


1 .37 
和 C0,1) 的 一 个 样本 ,大 家 知道 
> ?Ant 
~ Flmns) 
证 明 : 当 m 较 小 和 ms 较 大 时 ,可 用 让 (nD 来 近似 Ftni ,N23). 
,XX 是 来 自 二 点 分 布 501,9) 的 …- 个 样本 ,其 中 


1. 38 设 A 
0<<8<<1, 现 要 求 样本 均值 六 的 卫 数 
gl) = (XY)! 


git) = YX Cm XY 


的 渐 近 分 布 . 
寻求 了 分布 的 Edqgeworth 展开 式 . 
1.40 在 下 列 密度 画 数 下 分 别 寻 求 窜 量 为 二 的 样本 中 位 数 mmos 的 


1. 39 


DO< < 乡 


渐 近 分 布 . 
2 
其 它 ， 


0) pc 一 | 
{2) pz 一 ts 
(1 十 全 ?7 
(3) pm 一 了 eol 
| 
2o ” 


1 
《4 7 P(r) -exp| 
设 书 ; … ,; 居 ， 是 来 自 二 点 分 布 65801, 四 的 一 个 样本 ,证 明 
太一 12 


i. 41 
全 《十 和 十 天 6 其 9 
都 是 已 的 充分 统计 量 ， 车 对 了 移 定 仁和 ay ;tn) ;请 设计 一 个 随机 试 
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验 , 它 能 产生 与 原样 本 辣 分 布 的 新 样本 . 
1. 42 设计 ,XX, 是 来 自 一 项 分 布 pe(ma 2) 的 一 个 样本 ,证 明 : 


T, 一 ,是 9 的 充分 统计 量 . 
1.43 ” 设 有 一 个 独立 的 贝 努 里 试验 序列 ,其 每 次 成 功 概率 均 为 6， 
又 设 X 是 该 序列 中 首次 成 功 发 生前 的 失败 次 数 则 其 分 布 为 
五 民生 一 光一 【一 中 7， 二 0,] 
这 个 分 布 称 为 几何 分 布 . 车 贸 ,,…,X, 是 来 自 该 几何 分 布 的 一 个 样本 . 


(1) 寻求 统计 量 工 ,二 7,-1X; 的 分 布 ; 

(2) 证 明 : 了 ,是 充分 统计 量 . 

1,.44 设 蔗 1; 芝 ,是 来 自如 下 密度 录 数 的 一 个 样本 ,分 别 求 来 
知人 参数 8 的 充分 统计 量 . 

(1}( 星 分 布 )petr) 一 Br”! ，0<r<1， 4 这 0; 

{27) {Pareto 分 布 )pstr) 一 Ba /+ ， Tree0 已 到 7 

(3)( 控 普 近 斯 分 布 )to(z) 一 二 em， 一 To, [ei 

1. 145 谋 区， 是 来 自 均 匀 分 布 天 (2 的 一 个 样本 ,其 
一 2 世人 ,证明 ;: (有 oo) 是 参数 42. .六 ) 的 充分 统计 量 ,其 
中 革 与 区 由 分 别 是 该 样本 的 最 小 与 最 大 次 序 统 计量 . 

1.46 设 瑟 ;…; 古 。 基 来 自 Gamma 分 布 谍 六 jitasA) as er0h > 
0 的 一 个 样本 ,寻求 aa) 的 充分 统计 量 . 

1.47 ” 设 四 ),-…, 太 ,是 来 自 Beta 分 布 族 iBelta,86} a>0,58>>01 的 
一 个 样本 ,寻求 ta ,5) 的 充分 统计 量 . 

1.48 设 针 er, 芝 ;服从 参数 为 pi 的 客 项 分 布 时 (ni;pp1， 
设 [ :二 ls 是 来 自 密 项 分 布 的 一 个 多 锥 样 
本 ;证明 ; 人 2 天 >” 下 是 (和 ,po 的 充分 统计 量 . 

已) 

1.49 设 二 准 随 机 变量 下 一 x 
为 零 向 量 , 协 方差 阵 为 

|. 十 天 U2 i rr 


or 


| 服从 二 元 正 态 分 布 :其 均值 向 量 


2 


} 如 
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证 明 ， 二 维 统 计量 了 一 ( (十 号 (XI 一 有 是 该 二 元 正 态 分 
布 族 的 充分 统计 其 . 

1.50 设 了 ,… :YY 是 相互 独立 的 随机 变量 ,中 

Y ~ Net Brea), f= 1 n 

其 中 一 ap 之 oo,02>0 是 未 知 参 数 , 而 Xi: 是 己 知 量 . 

证 明 : >) Xi, DD",XYi, 是正 态 分 布 族 

{Na Pro), -~ oo < ap oo00 > 0) 

的 充分 统 让 呈 . 


已 
1. 51 发 | 上 |， 一 1 是 来 自 正 态 分 布 族 
J 


YY, 
I 
9, | 
的 一 个 一 维 样本 ,寻求 该 分 布 族 的 充分 统计 量 . 
1.52 检查 于 列 分 布 族 的 完备 性 
C1) Poisson 分 布 族 ; 
C2) 有 几何 分 布 族 1pofz) 一 的 1 一 有 5 一 0 0<D<1 1) 
《3》 均 邹 分 布 族 1 (402 >0); 
(4》 均 匀 分 布 族人 (88T1:9E R)}; 
(5) 正 态 分 布 族 1N (go ,nAER,oER'! ); 
(6) Gamma 分 布 族 {GaftaA) ,aCRt1,ACRt}; 


| 一 co 0,|p| < 


po 时 


(7) Cauchy 分 布 族 加 (一 元 大寺 0) 
1.53 设 秆 ,入 ,是 来 自 均 名 分 布 避 (0 及 的 -个 样本 ,其 中 
8ER+ ,证 明 ; Xi 一 max(Xi… ,是 完备 统计 基 . 
1.54 考察 如 下 的 震级 数 分 布 
Pol = xr) = FH T= cre 中 1 
设 苹 ,,…,X, 是 来 自 此 分 布 的 一 个 样本 ,又 设 了 一 王 十 … 十 匡 。， 


证 明 : (了 的 分 布 具 有 同样 形式 ;2) 了 是 完备 统计 基 . 
1.55 下 列 分 布 族 中 时 一 个 是 指数 族 . 
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(C1) petx)—=2r/, Or 

(2) patx}=1l/9, r=0+0.1, O40.2. .0—0.0; 

(3) Poisson 分 布 谈 ; 

(47 Gamma 分 布 族 ; 

(5) 正 态 分 布 族 {N ,8)， >0); 

(BY patr) = Or; 

(7) Beta 分 布 族 ! 

(8) ptr} oH lH, rsOlyr OH 1 

(9) 均匀 分 布 族人 (8--0.5.60 二 0.5)， 8ER; 

(10) 对 数 正 态 分 布 族 ; 

t11) 包 项 分 布 族 ; 

{12) prelr)= Texp(— | » AER,o0,r 

1. 56 ”把 下 列 分 布 的 密 订 函数 写成 指数 族 的 标准 形式 ,并 指出 其 
自然 参数 空间 . 

1) 二 项 分 布 ; 

【2》 Poisson 分 布 : 

(3) Gamma 分 布 ; 

(4 二 元 正 态 分 布 . 
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上 一 章 . 我 们 介绍 统计 结构 的 彼 念 ,并 指出 ,与 概率 论 相 上 比 , 统 计 
的 重要 特点 在 于 分 布 的 不 确定 性 . 实际 中 ,在 得 到 样本 以 后 ,我们 最 关 
心 的 问题 之 一 便 是 想 知 道 是 分 布 旗 中 的 哪 一 个 分 布 广 牛 出 此 样本 , 即 
要 从 样本 推 斯 总 居 分 布 或 其 香 种 特征 数 . 英国 著名 统计 学 家 .AA. 
Fisher 把 统计 推断 归 纲 为 三 个 方面 :抽样 分 布 ,参数 估计 与 假设 检验 ， 
其 中 参数 估计 浆 分 为 点 估计 与 区 各 估计 . 抽样 分 布 已 在 第 -- 章 讨论 过 ， 
以 后 几 章 还 会 经 常 涉 太 ,本 章 主 要 讨论 点 估计 ,后 面 疯 章 将 分 别 讨论 假 
设 检验 和 区 问 佑 计 ， 


$2.1 估计 与 优良 性 


$2.1.1 参数 及 其 估计 


在 讲述 参数 估计 之 前 ,我们 首先 必须 清楚 伟人 么 是 参数 . 如 果 统 计 结 
构 的 分 布 旗 由 :学 == (了 ,8 忆 昌 } 给 出 ,其 坊 值 ,方差 等 特征 数 痢 是 8 的 实 
值 滔 数 ,一 般 地 ,任何 定义 在 但 上 的 实 慎 汝 数 都 可 以 称 为 参数 ,但 参数 
的 概念 并 不 局 限于 参数 统计 结构 ,在 非 参 数 统 计 结 构 中 也 有 参数 . 警 
如 ,车 六 的 分 布 族 为 六 = {P), 则 均值 rp 下 ,方差 Varts 等 分 布 的 特 
征 数 也 都 是 参数 . 由 此 ,我们 可 以 维 出 如 下 定义 . 

定义 2.1 定义 在 :这 上 的 一 个 实 值 汉 了 汕 g(P) 称 为 参数 ,而 (党 ， 
各 ,) 上 的 用 来 估计 gt) 的 实 值 统计 量 称 为 gCP) 的 点 全 计量 ,简称 
估计 . 

简单 起 见 , 常 以 #8 表示 戎 数 , 以 8 一 总 开 ) 表 示 其 点 估计 . 由 定义 可 
以 看 出 , 佑 让 的 概念 相当 广泛 ,任何 人 都 可 以 给 出 估计 . 姐 果 不 对 人知 计 
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的 好 坏 加 以 明确 .估计 是 没有 意义 的 . 下面 ,我 们 讨论 和 估计 的 好 坏 标 准 - 
$2.1.2 均 方 误差 


假设 我 们 用 8X7? 佑 计 8, 评价 该 估计 好 坏 的 一 个 自然 度量 是 
|X) 站 ,由 于 8 是 未 知 的 ,样本 XX 义 具 有 随机 性 ,直接 使 用 这 种 自 
然 度量 在 实际 中 是 不 可 行 的 ,为 排除 样本 随机 性 的 影响 ,可 以 对 它 求 期 
望 ,出 于 数学 处 理 上 的 方便 考虑 ,最 常用 的 标准 是 由 下 式 给 出 的 均 方 误 
其 ， 


MSEy() = E(BCRY - 0): (2. 1) 
自然 ,我 们 希望 估计 的 均 方 误差 越 小 越 好 . 如 果 能 找到 如 的 一 个 佑 
计 信 ,使 得 对 所 有 估计 六 有 

MSEsC#* ) < MSEs(D, YIED {2. 2) 
则 全 应 是 最 好 的 估计 . 遗憾 的 是 ,这 样 的 估 是 不 存在 的 ,因为 峭 若 这 样 
的 六 存在 ,对 任 一 所 E68, 取 刀 (天 ) 三 ; 则 MSF (页 ) 一 0, 从 而 由 
(2.2) 有 MSEs (87) 一 En (0) 一) 二 0, 这 表 淹 

BCX) = a.s. Py 
由 & 的 任意 性 , 故 这 样 的 六 找 不 到 . 
出 此 可 兄 ,使 均 方 误差 一 致 达 到 最 小 的 最 优 估 计 是 不 存在 的 , 那 末 

如 何必 找 好 的 估计 呢 ? 办 法 之 一 是 先 对 估计 提出 - 些 合理 性 要 求 ,把 那 
些 诸 如 开 芝 ) 寺 抽 的 不 合理 估计 排除 在 外 ,然后 在 满足 这 种 合理 性 要 求 
的 估计 类 中 寻找 好 的 估计 . 无 偏 性 便 是 一 种 基 常 用 的 合理 性 要 求 ， 


$2,1.3 无 偏 性 
车 用 = 训 XX) 村 计 8, 则 由 简单 的 数学 推 芋 易 知 
MSEyCH) 一 Var(t@) + (EO 一 全) (92. 3) 


其 中 世 () 一 8 称 为 估计 外 的 偏 盖 . 如 果 偏 差 等 于 0. 就 是 所 谓 的 无 偏 估 
讨 . 

定义 2.2 没 ( 党 ,六 , {Por0EB)) 为 可 控 参 数 统计 结构 ,g() 是 
未 知 参 数 ,X = (XXX 是 来 自 该 统计 结构 的 一 个 样本 ,车 用 言 (已 ) 
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估计 ef) . 且 


EBX = gt0), YOED 

刚 称 羡 ( 芝 ? 为 yy (98) 的 无 篇 估计 

无 偏 性 体现 了 -种 频率 思想 . 只 有 在 大 量 重 复 使 用 时 .无 偏 性 才 宕 
意义 , 辟 如 , 归 估 计 果 批 产品 的 会 梧 率 3, 从 中 抽取 个 产品 进行 检查 ， 
发 现 有 六 个 合格 ,容易 验证 ,在 假定 六 一 &0n; 介 下 , 访 /n 是 8 的 无 偏 信 
计 . 然而 对 一 次 具体 观测 值 x 来 说 ,xz/n 归公 等 于 8 扣 么 不 等 ,此 时 天 
含 性 显得 没有 意义 ;然而 ,如 果 问 题 改 为 某 一 工厂 千 大 都 对 其 生产 的 产 
品 进 行 抽检 . 芒 柜 和 宪 生 产 过 程 相 对 稳定 , 则 怖 计 的 未 条 性 过 浴 便 是 合理 
的 . 比如 用 三 Zn 俩 计 8, 对 每 -天 而 音 , 该 佑 计 可 能 篇 大 也 可 能 仿 小 ,但 
在 一 段 较 长 的 时 期 内 ,rn 平均 米 说 在 8 的 周围 波动 . 

例 2.1 设 这 ,… .这 居 米 自 和 Nip 中 ) 的 一 个 样本 .yi 和 是 未 知 
参数 ,其 常用 估计 分 别 是 样本 均值 


X= DX C2. 4) 
和 样本 方 其 
5 一 De: 一 及 (2.5) 
易 知 
E(X)—£ 
丸 由 于 ns5ii 丰 一 让 1; 鼓 
z 


zs | Rl1s 
I= 


EC) = | 全 | 一 
Ei [* 下 


只 了 奈 及 是 $8: 的 无 偏 估 计 , 而 5; 则 不 是 5 的 无 偏 舍 计 . 介 对 5s: 上 略 加 收 正 
就 可 得 到 有 的 个 巨 偏 估计 
“DXy (2.6)》 
中 和 和 s 吉 是 of 的 常用 估计 ,在 实际 中 ,s* 用 得 更 多 ,这 是 因为 当 样 
本 容量 不 足 很 大 时 . 引 常 过 小 估计 中. 如 果 样 本 容量 较 太 ,si 与 很 接 
近 ,此 时 下 (2) 一 于 接近 0,s: 称 为 a 的 渐 近 无 偏 怖 计 . 
定义 2.3 设 和 一 外 (是 g 的 的 征 计 重 . 芷 
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limEs(g.) = 8g, YOED 
则 称 六 为 860) 的 渐 近 无 偏 合计. 


8 2.1.4 相合 性 


估计 量 是 与 样本 容量 有 闫 的 ,假设 用 所 ==(X.,…,X,) 估 计 如 ,我 
们 不 才能 做 到 对 其 一 4 MSE() 对 所 有 9E 昌 任意 小 ;但 当 %w 一 =oo 时 
通常 吕 以 做 到 这 -点 ;这 使 基 相 合 性 的 概念 ， 

定义 2.4 设 羡 二 所 (六 XX) 是 旭 的 估计 ,如果 当 %n 一 oo 时 ， 


有 
网 Fr 
td,.— 6, 
则 称 闷 是 8 的 ( 弱 ) 相 合 舍 计 , 进 … 步 ,如 果 
fa.s. 


则 称 5 为 8 的 强 相合 人 犀 计 . 
外 然 , 强 相合 性 可 以 推出 弱 相 合 性 . 在 统计 研究 中 , 弱 相 合 性 恒 已 
是 够 ,在 以 后 的 讨论 中 ,我 们 所 指 的 相合 性 均 是 指 避 相合 性 ， 
相合 性 被 认为 是 对 估计 的 一 个 最 基本 要 求 . 如果 -个 估计 量 ,无 论 
做 多 宵 次 试验 或 存 多 少 个 观 铀 值 , 它 都 不 能 拉 要 估计 的 矢 数 估计 到 任 
意 指定 的 精度 . 那 末 这 个 估计 是 很 值得 怀疑 的 . 通常 ,不 满足 相合 性 要 
求 的 估计 一 般 不 子 考虑 . 
例 2.2 设 X,…'. 是 米 自 C00,) 的 -个 样本 ,最 大 次 序 统 计 
量 XX 是 8 的 常用 和 估计 .由 1.3 节 中 .39) 式 知 X 的 密度 函数 为 
pl neg rr, OLit<d 
易 求 证 ECX ) 二 x8/ fn 十 1) ;因此 Xs 不 是 日 的 雹 妨 居 计 ; 但 它 是 8 的 
渐 近 无 偏 居 计 . 另外 ,由 于 对 任意 的 s 盖 0， 
Pel [Xo ~ 8| EE) = Pol Xo EH ei 
-J 
OB—&€ 
| 7 


| ~ Nn oo) 


因此 ; 蕴 避 是 8 的 相合 估计 . 
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证 明 估 计 的 相 侣 性 一 般 可 应 用 太 数 定律 或 直接 由 让 闵 来 证 .下 述 
定理 在 判断 相合 估计 时 是 很 有 用 的 . 
定理 2.1 设 了 一 了 (Xi 是 Bi 的 相合 估计 ,一 1，， 
kk 晴 数 让) 在 [ECO) at001 处 连续 , 则 二 (Ti ,Tm) 是 
LBC,-… git} 的 相合 估计 . 
证 表 ; 因 六 C，) 在 i181 ,…,g4(0)) 处 连续 , 帮 Y 2 壮 0, 97>0, 当 
[8 一 yi | 之 917 二 1 sk 时 ,有 
| 下 (一 
又 本 wn 是 8g.40) 的 相合 估计 ;对 此 e 守 0,Ij NN,; 当 nN, 时 
Pri |T, — gi(0) | 宇 Derk 
取 和 NN 一 maxtN Ni), 当 n> 时， 
Pr [Ti, — gO | 9 = yeh 
一 1 一 Pri 至少 有 一 个 i, Ts 一 (0) 注 | 
11- Pr IT — gD | 1—e 


ji=| 


所 以 
Pril [ROT ee Ti) — ht{ gO ,ee pCO)! | 
Prl [TT 一 好 并 人 | 三 yj] 
1 &€ 
证 毕 . 


Pr = O00 DAT or OZ 人 T1100 
的 一 个 样本 . 因 
ECXIY = | aczieoaz 一 gj(8 十 约会? 


由 强大 数 定 律 有 
这 一 > 全- 马 。 
而 9 二 二 5 会 4() 是 了 的 连续 函数 ,由 定理 2.1 知 ,A(X) 一 这 及 是 2 


的 相合 恪 计 . 
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必须 指出 ,相合 性 只 是 反 上 映 了 当 w 一 ce 时 居 计 量 的 性 质 ,而 对 任 
意 有 限 的 ,相合 性 是 没有 意义 的 . 相合 性 本 身 不 能 说 明 为 合计 达到 一 
定 精度 = 必须 至 少 为 多 少 ,事实 上 ,相合 售 计 可 以 不 止 一 个 ,它们 之 间 
是 有 差异 的 ,这 种 差异 往往 可 由 估计 基 的 渐 近 分 布 的 渐 近 方差 反映 出 
来 . 最 常用 的 渐 近 分 布 是 正 态 分 布 . 


8 2.1.5 浙 近 正 痊 性 


定义 2.5 设 久 == 疡 ( 玉 1,"… ,及 ,) 是 8 的 知 计 ,如 果 存在 209) ,满足 
(8 — 0 /0,0) Ew NO.1) (2. 7) 
则 称 包 是 乡 的 渐 近 正 态 估计 ,o(8) 称 为 所 的 浙 近 方差 . 记 和 一 4 
(8,.02(0)). 
显然 ,如 果 满 足 (2.7) 式 的 只 (6 存在 , 则 安 是 不 叭 一 的 . 由 
Slutskey 定理 (定理 1, 5) ;车 受 ( 办 满足 
sO /oO —> 1 


则 有 (B90) /5,0 一 N00,1). -… 般 碟 ( 抱 可 取 为 站 的 方差 . 
由 中 心 极 根 定理 ;车 XX,,… ,XX, 是 独立 同 分 布 随机 变量 ,下 (X,) 一 
,VartX) 二 < 之 oo, 则 vn (RH /o~ ANO,1). 由 此 可 网 , 渐 近 下 


态 佑 计 的 渐 近 方差 往往 具有 二 的 阶 , 即 
az( 的 一 > o2(0) (2, 8) 

例 2.4 设 革 ,并 ,是 来 自 8(1,81 的 一 个 详 本 ,8 的 一 个 悄 计 是 

四 二 rn, 由 中 心 极限 定理 
Vn ROD NOGY 人) 
对 任 一 参数 gt9) .其 g'() 存 在 , 则 由 定理 1.7 厦 
RgR) gpg0] > NO,Tg' (O90 一 四) 

8《 及 } 是 gt9) 的 渐 近 正 态 怖 计 . 车 如 ,车 取 5 人 的 一 2 一 及, 出 人 (的 一 
(1 一 8) :AL 一 广 ) 是 8 一 人 的 的 渐 近 正 态 估计 ,其 朵 近 方 差 为 


-和 当然 ,5(CZ) 也 是 5(0) 的 相合 估计 . 
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例 2.5 设 吨 ,…; 训 是 来 自 NWinsez) 的 -个 样本 , 记 @z 一 
2 CX; 一下, 则 QQ:fo 一 关 (n 一 1), 由 认 分 布 的 性 质 可 求 出 


ECQxyey 一 v2T| 也 


| 


st 


于 是 ,5 -=T[ “1jQ/[ V2Tr| 季 ] ] 是 的 无 售 佑 计 . 下 面 我 们 证 明 
VR 一 2) 一 >N(0,0?/2), 从 测 5 是 渐 近 正 态 的 ， 

因 X 42 一 1) 变 量 可 看 作 一 1 个 独立 的 入 (0,1) 变 量 的 平方 和 , 故 
由 中 心 极限 定理 有 V7 一 了 | 信人 9 1 一 NC0,2). 仿 A(D= VT, 由 
定理 1.7 有 


他 /5 
w 开 一 1 


.| 一 11 -一 NCOO,1:2) 
即 

Q— iIe > NO,0/2) 
再 利用 Stirling 公式 lim {TOA[ v 玩 zuae-z]) 一 1 有 


:an—1 nl1l: 2 
A A 
es x | em ， 
“27|3| vil#) 
-mld | 
nn 
一 二 
所 议 
var[( 和 | 
wm 一 oa 一 -i (Q— vA 10)+ 
V2T 3 


ww 一 Dr 了 :| 


| 号 
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-了 N(0.az/2) 

计 近 止 态 性 是 估计 的 优良 性 质 , 但 我 们 必须 证 意 到 ,估计 的 渐 近 正 
态 性 只 是 反 上 有 映 了 妆 王 一 >co 时 估计 的 性 质 , 它 并 不 能 说 明 为 达到 所 需 
要 的 精度 样本 容量 必须 为 多 大 才 行 .事实 上 ,:&#(0) 的 曾 近 正 态 的 估计 序 
列 可 以 有 许多 ,它们 之 厨 也 存在 -个 优 劣 的 关系 ,这 就 引出 了 相对 浙 近 
效 的 概念 . 先 看 一 个 例子 . 

例 2.6 没 玉成。 为 来 自 NO,1) 的 -个 样本 ,我 们 可 以 用 样 
本 均 信 叉 , 镶 计 切 则 YNET 一 丰 一 xzN(0,1)( 此 处 实 为 下 ,的 真实 分 
布 ). 另外 ,由 于 8 是 NC8,1) 分 布 的 中 位 数 , 开 们 也 可 用 样本 中 位 数 
mo.5 知 计 旭 ;有 ( 见 定 理 1. 10) 

/hms — 0) Nl, .| 
下部 是 《的 次 过 天 从 的 信 计 "但 它们 的 于 二 有 头 丰 下， 的 
近 方 关 为 ,mus 的 渐 近 方差 为 区 :由 于 二 了 人 > ,所 以 前 者 优 于 后 者 . 当 
大 时 ,对 员 样 的 ,的 精度 高 于 由 其 比 为 /2, 约 为 1.57. 入 名 
话说 ,要 达到 同样 的 精度 ,用 rs 所 需 的 样本 容量 应 为 到 的 样本 容量 
的 1.57 悦 . 比如 ,要 使 秆 计 的 标准 着 不 太 于 0.01, 用 尽 , 须 有 10 000 个 
观测 值 , 调 用 xs; 则 须 15 700 个 观测 值 . 

定义 2.6 设 外 ,5 是 8 的 两 个 浙 近 正 态 佑 计 , 其 渐 近 方差 分 别 为 
0 和 523,, 则 称 


好 
el 86 0) = lim — 


a 
为 站 对 总 的 相对 渐 近 效 . 
在 爸 2.6 中 0805 对 站， 的 相对 淅 近 效 为 27T: 约 为 .64. 


$2.2 无 偏 估计 


$2.2.1 无 偏 牲 
无 偏 性 是 统计 问题 中 应 下 很 广 的 一 个 淮 则 ,其 定义 及 一 个 例子 已 
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在 2.1 节 中 给 出 .在 此 ,我 们 先 对 无 偏 佑 计 作 以 下 三 点 说 明 . 

《1 无 偏 佑 计 不 一 定 存 在 ， 

例 2.7 设 和 -pn ,0<D<1 :考虑 (的 一 1701 一 0， 人 稍 若 
T(X) 是 52) 的 无 偏 佑 计 , 则 


ST 一 9 一 ED，YOE(D (2.9) 
r= 


> "ree O01l=0, YOE C0,1) 


由 于 上 式 左 端 是 8 的 mn 十 1 次 多 项 式 , 无 论 取 什么 笠 的 工 ( 玉 ), 它 都 不 
可 能 有 无 穷 个 解 , 因 此 .上 式 不 可 能 成 立 . 由 此 可 见 ,只 有 当 g( 四 为 8 的 
nn 次 多项式 时 ,才能 找到 卫 ( 久 ) 使 (2. 9) 式 成 立 , 此 种 gt9) 才 有 沅 偏 估 
计 . 而 当 gc9) 不 能 表示 为 6 的 # 次 多 项 式 时 ,gt 的 无 妨 估 计 不 存在 。 

在 统计 中 ,一般 将 存在 无 偏 佑 计 的 参数 函数 称 为 可 佑 参数 .今后 谈 
论 无 偏 咎 计时 ,总 是 对 可 佑 参数 而 言 ,因为 对 不 存在 无 偏 估 计 的 参数 去 
讨论 其 无 偏 估 计 是 没有 意义 的 . 

《27 对 可 佑 参数 ,无 偏 估 计 一 般 不 唯一 . 

可 和 估 参数 g(8) 的 无 偏 佑 计 的 唯一 性 等 同 于 0 的 无 偏 估计 的 堆 一 
性 . 若 (XX) 各,( 芭 ) 是 g( 旨 的 两 个 无 偏 估 计 , 则 本 (XXX) 一 ga(X) 便 是 
0 的 无 偏 和 估计, 因此 ,;( 玉 ) 和 5s(X) 是 否 ( 几 乎 丸 处 ) 相 等 便 取 决 于 0 
的 无 偏 逢 计 是 否 唯一 , 在 第 一 章 中 我 们 已 带 出 , 当 统 计 结 构 完 备 时 ,0 
的 无 偏 佑 计 唯 一 ,反之 亦 然 , 重复 抽样 结构 是 不 完备 的 ,因此 ,在 重复 摘 
样 结构 中 ,可 估 参 数 的 无 偏 估计 不 唯一 . 心 如 ,车 疡 (X) 是 g (办) 的 无 偏 
估计 , 则 各 (和 ?十 下: 一 X 也 是 g(9) 的 泡 偏 估计 . 

在 统计 中 , 拒 可 佑 参数 gt 的 的 无 偏 估 计 归 为 一 类 , 记 为 Ze 

《3) 无 偏 估计 不 一 定 是 好 估计 ， 

例 2.8 设 98 是 贝 努 里 试验 的 成 功 概率 ,XX 表示 首次 成 功 发 生前 
的 试验 次 数 , 则 入 服从 几何 分 布 ,其 概率 阔 数 为 

PT = m0, X=, OO 

车 TCX) 为 8 的 无 入 估 计 , 则 应 有 
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STO — = OY OE (0,1) 


由 实数 稠密 性 立 知 (0) 二 1,TO) 一 0,2 二 1,2,'…, 即 

1l， 基 =0 

0， 芝 二 12, 
这 样 ,8 的 估计 非 0 芭 1. 由 几何 分 布 的 完备 性 ( 罗 习 题 1.40) ,该 无 食 
情 计 是 唯一 的 . 然而 ,因为 不 管 样本 观测 值 是 多 少 , 这 个 估计 的 取 值 只 
能 是 0 或 1, 因 此 , 它 是 一 个 很 差 的 估计 . 


$2.2.2 一 数 最 小 方差 无 偏 估计 


当 样 本 容量 n>1 时 ,可 信和 参数 的 无 偏 居 计 不 叭 一 . 设 g( 站 为 可 情 
”参数 ,我 们 把 g (90) 的 所 有 无 偏 合计 组 成 的 类 记 为 上 ;, 如何 从 如 ;中选 
取 一 个 较 好 的 估计 是 我 们 关心 的 问题 , 譬如 , 足 否 存在 这 样 一 个 无 篇 佑 
计 ;, 其 均 方 误差 {方差 ) 在 Us 中 对 和 中 所 有 #8 一致 达 到 最 小 蝇 ? 如 果 这 
样 的 无 途 佑 计 存 在 ,又 该 怎样 把 它 找 出 来 呢 ? 下 面 我 们 就 对 这 两 个 问题 
进行 讨论 . 

定 多 2.7 设 g( 如 是 可 人知 参数 ,如 果 T(X) 是 gt 的 无 偏 估 计 , 且 
对 中 和 任 一 个 生计 gx 芝 ) ,有 

VarsfT(E)) SE VarsgNX)), YOEGB 

则 称 了 (和 ) 为 &t 的 的 一 臻 最 小 方差 无 偏 估计 (Uniformly Minimum 
Variance Unbiased Estimate), 简 记 为 UMYUE., 

为 研究 UMVUE ,必须 注意 到 充分 统计 量 的 一 个 重要 作用 , 峰 低 
无 篇 估计 的 方差 ， 

引 理 2.2 设 SCX) 是 分 布 族 {pe,9EB} 的 充分 统计 量 ,p(XX) 是 
g(9) 的 无 偏 犀 计 , 令 T(X) 一 ECzX)|SCX)), 则 人 (IX) 也 是 g() 的 无 
偏 居 计 , 且 . 


TX) = 


VartT(X)) A Var(g(X)), 
证 表 : 因 SCX) 基 充分 统计 量 , 帮 了 T(t) 一 EC(gCX)1SCX)) 与 9 于 
关 .T(X) 是 统计 量 . 易 见 
ECTOX)) = E[E (HX)IISCR))] = EFXY)) = gD 
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而 
Varto(X))— EC(p(X) -. gy: 
一 ECpCXY - TCR + TR) — gl) 
一 了 (oo(X) — TCX 十 下 (TXT 8 人 8) 
:Var(T CX)) 
其 中 交叉 乘积 项 
ET - TOARONTOX)Y 一 gO)] 
= Et{EL(gX}y — T(XONTOE) — gO SRY]} 
= EliCIOXY -- gOIVYELeOX)Y -— TCXYIS CX ]) 
一 站 
引 理 得 证 . 


由 证 明 可 以 看 出 ,只 要 VarefgftX op， 则 Vars (T CX)) = 
VaretqetX)) 的 充 要 条 件 是 本 C(x) 二 gtx) ,a.8. 由 此 可 见 . 恰 当地 使 用 
充分 统计 基 可 以 降低 无 偏 估计 的 方差 , 问题 是 ,什么 样 的 充分 统计 量 可 
以 最 大 程度 地 降低 方 鞠 ,另外 ,这 样 得 到 的 无 从 估计 古 否 是 UMVUE 
呢 ? 下 面 的 定 提 回答 了 这 两 个 问题 . 

定理 2.3 设 SCX) 汐 {Po,9EEB} 的 完备 充分 统计 其,g(98) 为 可 信 
参数 , 则 g (0) 的 UMYVYUE 存在 ; 它 是 S(X}) 的 函数 是 在 几乎 处 娃 意 六 
下 是 唯一 的 . 

证 阴 : 因 jr (外 是 可 信人 参数, 秦 U 非 空 ; 在 UU 中 联 寺 pL), 令 
TON) 二 ECpCXITSETD, 则 工 ( 玉 ) 是 5CX} 的 页 数 . 由 引 理 2.2 知 ， 
TIXIEU ,HH Varst fT RD Varet p(T))., 

任 取 CNX)EU,. 令 TC 一 E(BCR)|SCeD)), 则 

ET?OXI — TIN) = 0, YOED 
而 了 * Cx) ,了 T(x) 询 是 S(tr) 的 函数 ,由 SLx) 的 完 摆 性 知 
Tr) = T(t),A. 8. 


此 即 
Var 了 Ts Vartg(tX)}), YOEO 
由 此 ,其 5 中 任 - - 情 计 出 发 均 本 得 到 一 个 相 辣 的 了 (XD), 该 工 (XX) 
是 St 芝 ) 的 晴 数 , 它 是 #468) 的 (几乎 处 姓 ) 唯 … 的 UMWUE. 证 举 . 
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#2.2.3 例题 


由 上述 讨论 .只要 完备 充分 统计 量 春 在 ,可 佑 参数 的 UMVUE 一 
定 存在 .定理 2.3 及 其 证 明 提 供 了 两 种 求 UMYTE 的 方法 - 

方法 1; 性 找 完 冲 充分 统计 量 的 函数 使 之 成 为 gt9) 的 无 偏 估 计 ， 

方法 2: 任 取 &k8 的 一 个 无 偏 估 计 并 将 之 对 完备 充分 统计 基 求 条 
忻 期 望 . 

例 2.9 设 革 |，…: 邯 是 来 自 站 1 0:020c1 的 一 个 样本 ,由 指 


数 肾 分 布 族 的 性 质 知 ,SCX)= > X, 是 完备 充分 统计 量 . 

C1) 对 8, 因 为 ECSCX)) 二 n9. 因 而 ,及 二 SLKXYin 是 的 无 伪 估 计 ， 
具 而 了 出 站 8 的 UMYWUE. 

(2) 对 gC 扑 二 六 十 (1 一 "下 ( 龙 为 整数 ,0 上 A 守 nn). 要 直接 找 一 个 
SCX) 的 函数 SCX)) 使 之 成 为 g(8) 的 无 偏 估计 是 很 困难 的 ,但 我 们 
可 以 方便 地 找到 g( 全 的 -- 个 无 偏 估计. 令 


1o， 其 它 
80 一 1 人 一 
0， 其 它 


令 YX 一 由 (全 ) 十 绵 ( 宝 ), 则 下 (PC = pri X=k) + Pr 


(2) X=0) =Pr (R=1i= 1 Pr 一 0 一 下 十 1 
一 内 TOL 一 后 可 见 gLXX) 是 g(9) 的 一 个 无 妨 估 计 , 由 定理 2,3 知 下 
(pg | Si) 是 gf) 的 UMYUE. 余下 内 要 算出 T(E}== 
ElgtXY1SCX)) 即 可 . 

记 (让 ) 取 值 为 5, 当下 才 s 时 ， 

FgeXI|ISCE) = 一 Pr(a (X= 1|S(X) 一 5) 
Pr Dy) Xi kd" X=: 

PreStX) 二 3) 


下 i 下 -下 加 一 了 
| Mb (1 0) 


一下) _ 
[ea oy 


§! 
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当 上 > 时 ,ECX SCX) 一 5) 二 0. 间 理 ,六 字 5 时， 


J 


Fp ISX)) = 


而 不 <? 时 ,EtRCXI1SCX) 王 5s) 一 0. 因此 ,gC(9) 的 UMYWUE 为 


1 
1 一 站 st 7 


FE 
T(X) = | | 
加 1 


:| 
例 2.10 某 厂 生产 的 产品 其 废品 率 为 9, 现 将 该 产品 包装 成 盒 ,每 
盒 抽 = 个 产品 逐个 检验 ,得 诬 品 数 蕊 (假设 盒 中 产品 数 远 远 大 于 a; 可 
认为 导 一 Ba 的) 当世 2 时 ,商店 接收 该 愈 产 品 ,这 3 时 拒 收 , 令 
gO "nl ita DEFY -HO" 
则 g( 四 是 通过 概率 . 厂 方 自然 很 关心 g( 四 的 估计 . 
现 设 抽 了 - 僵 产 品 进 行 检验 ,第 守 盒 查 得 废品 数 为 瑟 ,， 一 1 
则 X~6Cn.8) ,SCX) 一 >)'_, XX; 为 完备 充分 统计 量 , 且 SCX) 一 bm 


人 . 令 


gLX) = 1 第 一 盒 被 接收 (xz 所 2) 
0 其它 

则 

Es X) = PigX) = 1) = gO0) 
为 计算 Elp(XI|SUX)), 令 B, 表示 “在 第 一 盒 中 有 匡 只 有 i 个 废品 ”,i 
二 0,1;2. 则 当 Bo,，B1,B: 中 有 一 个 发 生 时 ,第 一 盒 被 接收 . 由 于 B,， 
B1;B; 不 相 容 , 记 8B 二 已 ;cBi; 则 gx) 二 Ts; 从 而 

Et X) Sc)) 


2 
= Pr(BISCX)) = PreBlSCX)) 
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Pr =OSK) = -Pr SO) = FPN = aS(X) 一 人 
Pr{stX) — s) 
jm f[™ 

I 5s | ,Ss 
这 就 是 gf 的 的 UMYUE， 

例 2 11 假设 某 种 产品 的 寿命 区 服从 带 未 知 参数 4 的 指数 分 布 ， 
对 某 沿 定时 间 ,我 们 要 估计 产品 在 前 失效 的 概率 PA(X<<z0) 一 1 一 
e ma gCA), 

为 此 ,我 们 取 刀 个 这 样 的 产品 进行 试验 ,记录 其 寿命 分 别 为 Xi,i 一 
1,… ,由 指数 起 分 布 族 性 质 知 SCX) 二 22X; 是 完备 充分 统计 量 . 取 
8CX) 一 [ex<w 容易 看 出 ,PCX) 是 g() 的 无 偏 估计 . 在 SCZ) 一 s 的 条 
件 下 ， 


， ra 一 天 rr 一 天 | 
I+ + 一 | 
: 一 一 上 


E(tHXIISCXY = s)= Pr(X |S(XR) 一 了 
一 Pr| 人 Es -3 IS(X) = 
注意 到 诸 X; 独立 同 分 布 , 服 从 De Gamma 分 布 性 
质 (习题 1. 8) 知 羡 史 与 SCX) 独 立 , 目 5 一 BeCln 一 D, 故 当 和 As 
志 ] 时 
EC(g(XY) |SCX) = 5) = a — C1 — w)"-idw 


=]— (1 ts)"i 
而 dos 记 1 时 ,ElyX》1S( 前 ) 二 s) 二 1 由 此 纵 出 gt) 的 UMYVUE 为 


To | — [1 一 5 -如果 SGzy 之 名 
1， 加 辟 Str) < 区 
例 2.132 设 其 /,… ,XX, 是 来 自立 50, 的 的 一 个 样本 ,由 因子 分 解 定 
理 知 关 , 一 max (XX 为 充分 统计 量 , 其 分 布 密度 函数 为 
Plt0) = pF, ,0 
mm 分布 聊 是 完备 的 ， 因而 XX 也 是 8 的 完备 统计 量 . 因 EX 一 


四 
| i/ = 6， 玫 2 二 1X 是 6 的 UMVUE, 
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此 题 还 在 :种 不 常见 的 解法 :在 已 知 习 是 如 的 完备 充分 统计 量 
后 , 记 六 取 值 为 1 设 训 让 是 8 的 无 篇 导 计 (从 而 妈 为 了 的 UMVUE)， 
则 


| Gyner /0dt —8. YH 
亚 即 
[Oar et 二 em | Gn Ded, Vs 
-i 0 
两 边 求 导 , 立 有 
tn 1 一 人 十 Tavs， 
攻 而 页 六 一 是 吕 它 的 UMWVUE. 该 方法 不 是 普遍 适用 的 ,但 在 能 


够 求 出 时 是 比较 简单 的 

例 2.13 指数 分 布 是 可 靠 性 统计 中 一 类 很 重 间 的 分 布 , 许 多 产品 
的 寿命 服从 指数 分 布 . 在 可 靠 性 试验 中 ,由 于 时 间 等 因素 的 影响 ,做 完 
全 部 试验 往往 很 困难 ,因此 截 尾 试验 经 常 被 采用 . 假设 有 个 产品 投入 
试验 , 当 第 7 个 (rw) 产 品 失效 发 生 时 试验 停止 . 了 是 ,我 们 能 观测 到 
2 个 产品 中 前 7 个 失效 产品 的 寿命 , 记 为 生 必 守护 


很 设 产 品 寿 俞 的 澳 度 冰 数 为 ptz;9) 一 ,0,0>0. 由 因 


子 分 解 定理 知 S= XY Xi 十 (nr)Xiw 是 9 的 充分 统计 量 .事实 上 ， 
因为 3 一 Cartryl78), 故 加 还 是 吕 的 完 郑 统计 量 . 作 由 于 5 二 18, 所 以 
8 一 S/r 是 8 的 UMVUE. 

更 一 般 地 ,假设 产品 的 寿命 分 布 为 p(t3a,9) 一 计 c- onszya 
网 Xu ,Xe 的 联合 密度 函数 可 以 写 出 为 


人 


二 ITacore， D1 F(x sa ) 


一 2 Tee Hexp{— caT, 二 T's) JAD 了 二 
其 由 了 一 中 IT 一、 Cei1) 一 Xe 十 是 (Ti5T,) 是 
Ca) 的 充分 统计 量 . 作 变换 了 了 二 no 一季 ,Y= 二 (Cn 一 i 十 1) ，* 
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(op njzr=2sry* 可 证 得 请 号 独立 阿 介 布 , 且 功 一 尼 zp(ly 
83, 内 而 可 求 出 4 了 3) 的 分 布 并 证 明 (T 7T: 也 是 (x, 全 的 完备 锭 计 
量 , 上 月 下 7 一 aa ET 一 人 一 170. 由 此 即 知 上 一 了 ;: -Ya7[agr 一 1 让 ， 
8 一 Yor 一 1) 是 各 和 月 参数 的 UMVUE. 

币 上 述 讨论 可 见 , 存 在 完备 充分 统计 量 是 可 佑 参数 存在 UMYUE 
的 充分 条 件 , 那 末 这 个 条 件 是 否 是 必要 条 件 呢 ?回答 是 否定 的 .事实 上 ， 
关于 无 偏 估计 是 省 是 UMVUE 的 判断 有 一 个 充 旧 人 条件 ,见习 题 2 18， 
可 参阅 文献 ”. 


$2.2.4 统计 量 


上 述 讨 论 同 样 可 以 应 用 到 非 参 数 统 计 结 构 . 在 非 参 数 统 计 结 构 中 
寻找 UMYUE ,定理 2.3 也 是 适合 的 ,此 处 ,1 统计 量 扮演 了 重要 角 
色 . . 

没入 计 结构 是 (他, 党 ,名 ), 我 们 票 估计 参数 g(P). 我 们 把 使 
Bt 己 ) 能 估计 出 来 的 最 小 样本 容量 称 为 gCP) 的 阶 , 记 为 wm, 璧 如 ,车 
BP 一 Ep, 则 井 二 车 COP) 二 Varp(XX) ;由 * 一 2. 由 容量 为 mm 的 样 
本 可 给 中 g(t) 的 无 偏 估计 , 称 为 护 , 若 该 无 篇 估计 是 样本 的 对 称 函 数 ， 
则 称 之 为 对 称 核 . 比如 ,着 gCP) 一 Ez 区 , 则 久 是 gtP) 的 对 称 核 ; 对 
(Pi 二 Varrt 久 ) ,Xi 一 下!/ 攻 ;是 核 ,但 不 是 对 称 核 , 然 而 我 们 可 由 核 构 
造 对 称 核 :只 要 把 mx! 个 可 能 不 同 的 核 斯 以 平均 即 可 . 此 处 


于 [OCX 十 ( 一 局 X)] 一 于 CR 一 X) 为 对 称 核 . 我 们 用 


fatX 表示 对 称 核 . 
现 设 我 们 自 n 个 样品 组 成 的 样本 (nm 汪 mr) .其 中 任意 mm 个 样品 都 可 


以 给 出 一 个 对 称 核 ,我 们 把 所 有 | ”| 个 对 称 格 的 平均 称 为 U 统计 量 ， 
记 为 7 


0 一 | | Js 2 | Xa 人 | 《2. 10) 


1 rr 


显然 ,六 是 g(t 了 ) 的 无 偏 稍 计 , 而 且 U 是 样本 的 对 称 函数 , 亦 即 是 说 ， 
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U, 是 次 序 统计 量 [ 到 全 o} 的 画 数 . 对 党 更 的 非 参 数 统计 结构 ， 
[Xeop，…Xcc 大 多 是 完备 充分 统计 量 所 ,因而 心 即 为 gC(P) 的 
UMYUE. 

例 2.14 《1) 设 安 = (所 有 一 阶 矩 存在 的 -: 维 分 布 ), 对 此 分布 
族 , (XXX 是 完备 充分 统计 量 . 令 gCP) 为 总 体 均 值 ,其 ?2 一]1， 
对 称 核 为 方 (一 到 , 破 由 (2.407 知 

U, 二 PD Xn 二 龙 

是 总 栖 均 值 的 UMYVUE. 

(2) 设 -党 一 { 所 有 一 阶 矩 存在 的 一 维 分 布 } ; 则 (i 、……, 芭 ow) 也 是 
完备 充分 的 . 令 gf) 为 总 体 方 差 ,其 mr 一 2, 对 称 核 为 (XX 六 ,) 二 


六 CC 一 X222, 故 由 (2. 10) 有 


站 2 1 | 2 
"一 n(n 一 5 之 2 CX X79 


1 
= DDR-2 DX 


一 ier LX 一 (对 已) | 
= DX 一 := 
由 此 可 见 , 对 多 数 非 参数 统计 问题 ,样本 均值 入 种 样本 方差 二 分 
别 巧 总体 均值 和 方差 的 UMVUE. 
局 统计 量具 有 很 好 的 大 样本 性 质 , 比 如 强 相 合 性 和 渐 近 正 坊 性 ,这 
使 得 U 统计 明 在 非 参 数 统 计 推 断 中 起 到 很 大 作用 ,在 第 三 章 中 我 们 将 
作 进 一 步 讨论 . 


§ 2.3 信息 不 等 式 


$2.3.1 Fisher 信息 量 
Fisher 信息 量 与 信息 不 等 式 是 统计 学 中 两 个 重要 结果 ,这 里 先 介 
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绍 Fisher 信息 量 的 概念 及 其 性 质 . 
定 多 28 设 统计 缚 梅 5 受 ,到 ,(Pos8E 昌 ii)IJ 控 ,四 是 了 的 于 集 
合 . 假如 定义 在 ( 乞 ， 鹃 ) 上 取 值 于 (R“, 密 ms) 的 随机 癌 量 


.4 
1 


dlnpetxr) ,.. 3lnpetx) 
a0 * ” a0., | 


$a) 二 


满足 

人) Salzx) 对 一 切 8EB 有 定义 ; 

C2) Edet XY)—O0Y EB, 

(3) Sot 及 ) 模 平方 可 积 , 即 Es SoCX) ?< 

则 把 $s(X} 的 苏 差 阵 

(8) = Vare(Se( XR)) = Ev Sot RYS'op( XY] (2, 11》 

称 为 该 统计 结构 的 Fisher 信息 矩阵 ,简称 Fisher 信息 ,& 一 1 时 了 (9) 常 
称 为 Fisher 信息 莉 . 

关于 Fisher 信息 ,首先 有 一 个 存在 性 问题 , 对 此 , 众 知 的 结论 是 ; 
Cramer-Rao 正则 族 中 Fisher 信息 存在 . 

定义 2.9 分 布 族 {pytx),8 二 全} 称 为 Cramer-Rao 正则 族 , 如 果 

(1 人 是 玉 上 开 息 形 ; 

(2 3jlnapotzyzag i 一 1 中 ,对 所 有 8EB 都 存在; 

(3) 支撑 由 = {x : pe(zT) 之 0) 与 8 无 关 ; 

(4) 对 ptr) 积分 与 微分 可 交换 ; 

alnpat rdlnpetr) 


5 


易 见 ,定义 2.9 中 的 (2),(5) 分 别 与 定义 2.8 中 的 (1),(3) 等 价 ,而 
定义 2.9 中 的 (3) 加 (4) 可 推出 定义 2.8 中 的 (2), 内 此 ,Cramer-Rao 正 
则 访 存 让 Fisher 信息 . 回顾 指数 族 的 性 质 , 其 贞 然 参数 空间 为 廿 集 , 一 
般 而 言 ,指数 族 为 Cramer-Rao 正则 族 . 

一 ] 和 上 二 2 是 两 种 最 常见 的 情形 . 看 两 个 例子 . 

例 2.15( 志 一 1) 易 知 Poisson 分 布 族 1 已 (4) ,A 守 0) 为 Cramer-Rao 
正则 族 , 其 Fisher 信息 在 在 ; 易 计 算 

ST) Anpir) /iM = r/a— 1 
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一 VTS — 1M 
和 例 2.16t 二 2) 上 止 态 分 布 肛 IN (po) tur1 世 RXR+} 为 
Cramer-Rino 止 则 族 ,其 Fisher 信息 存在 . 记 8 二 {yo ), 则 


人 
Se | 下 202 


f= Varyt Set XY)) 一 《2 sg 


其 中 


I Vars ?3 “|= 1/0? 
1 他 ! 


: 2 
I= Var| St | (201) 


2 
rar 1 ' , 


如 果 进 一 步 假设 inzeCr) 可 对 日 求 一 阶 偏 导 ， 月 1 积分 与 微分 可 交换 
次 序 { 这 在 多 数 场合 是 成 立 的 ,如 指数 族 ), 则 Fisher 信息 的 计算 可 如 
下 进行 . 


、 -)】 . oe 
记 SS 二 ,i 二 1 加， 则 1(@) 的 (Gis 户 元 表 为 


= ELSFS) 
又 由 于 ES》 一 0, 故 

ES 站 aiSE Po 人 (zz 
WB E22 


中 六 
一 | pal.T dz 十 [sr 2 el) 4 


%-, 


人 一 


_ | 2 


号 mpeg 
pur)dr + [SP wo 


patxydxr 


! ey Cx) 
| By, 


E, | | E[SHSID | 


由 此 即 有 


1,, 一 一 上 | 


,Sinpolr) | (2. 12) 


EE 
在 计算 Fisher 信息 时 , (2. 12) 式 通常 比 52.117 世人 简单 得 多. 主要 


和 2.3 信息 不 等 式 "105 。 


是 因为 2.12)? 式 涉及 的 求 期 望 的 阶 数 要 恬 . 比如 ,在 例 2.15 中 ,用 
《2. 12) 有 有 了 (和 一 一 已 flnpayaa 一 下 COXEAI 一 174: 在 例 2.16 中 ， 
Finpor)|l 1 


dr | 0 
[Flnpatz)|l zz 一 Ap 1 1 
7 P| | E{ ， 少 = 去 
了 一 一 上， “eA | 一 E| 三 一 本 0 
Dr 条 1 


对 重复 抽样 结构 ,Fisher 信息 的 计算 可 简化 . 没 玉环, 独立 同 
分 布 :二 | Li 1 | 


SCX) = BlnT eK) = DSetX,) 


于 是 .在 六 9) 存 在 时 ， 


1,0)= Varet Se XY) = 》，Vare(Se(CX)) = nF.(0) 


1 一 1 


其 中 (四) 表示 个 观测 值 移 Fisher 信息 . 事实 上 .由 上 述 过 程 可 知 ， 
由 独立 变量 组 成 的 向 量 的 Fisher 信息 ,本 论 其 组 成 部 分 是 否 司 分 布 ， 
都 等 各 组 成 部 分 Fisher 信息 之 和 . 该 性 质 可 简化 1 四 的 计算 . 


§ 2,3.2 Fisher 信息 与 充分 统计 量 


对 统计 量 , 我 们 可 以 用 其 诱导 统计 结构 的 Fisher 信息 定义 该 统计 
量 的 Fisher 信息 . 
定义 2.10 股 T(X) 是 统计 结构 ( 洁 , 兴 .17,.0€ @)) 上 的 统计 
量 , 《Py .OE 日 )) 是 本 (X) 的 诱导 统计 结构 .如 果 (了 , 儿 , (PE ,6 
EH) 上 的 Fisher 信息 存 社 , 则 称 其 为 统计 明了 CX) 的 Fisher 信息 , 记 
为 Jr 人 0， 
倒 2.17 设 革 ,是 来 自 NOo2) 的 :一 个 样本 ,这 是 一 个 重 
复 抽样 结构 , 记 0= (jy,07), 其 Fisher 信息 为 (参见 例 2.16) 
no 0 : 
1(0) 一 
0 nf/C20). 
定 光 统计 量 T(X)== C7,Ts) 二 ( 尽 , #7, 则 与 了 独立 , 且 


*- 106 。 第 二 章 点 估 计 


Ti~N Uo Ts ~Gal 3, 7 页 5 了 的 联 全 密度 苯 数 为 
/有 
了 6 一 ee ,2 a 
Pr (tts ~ pra Tr | 20: | 如 本 
2 
于 是 
本 
mpreuvas9)= 一 下 no — 一 有 -人 no 


2 2 


7 ls, 二 cliists), 


2 二 ng 十 


其 中 tn,t) = 二 Inn 一 方 Iln 《2r) ior 


2 ?本 与 和 无 关 ， 
dlnp’ nati — £) 
dre a 
alnp nt 一 A Cn CO ts 
A 3 十 oa | 
Flnp’ nn 
tee ao” 
Flnp’ nt{tl ~ pe) 
EE ot 
Flnp’ nn ntti— 二 tn 1 
aCo)? 一 2 0 
注意 到 Et 一 AT 一 关于 一 oa ;ECT,) ~ ， 由 《 2， 12) 可 算出 
2 总 
1.(0) = 站 
-0 n/(29+) 


本 例 中 ,五 (9) 与 (9) 是 一 和 辑 的 ,这 不 是 孤立 的 现象 ,这 是 充分 统计 
量 的 一 个 重要 性 质 . 下 面 我 们 介绍 统 放量 的 Fisher 信息 的 二 个 性 质 ， 

定理 2.4 设 1Ps,8E} 是 Cramer-Rao 正则 族 ,其 Fisher 信息 存 
在 ; 记 为 41(96). 又 设 了 [发 ) 是 该 统计 结构 上 的 统计 量 , 其 Fisher 信息 存 
在 , 记 为 五 (9). 旭 
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TB) < TC) 
证 明 ; 记 


3 9 
SalX) 二 TD: SE CE) 一 BP (i130) 


则 
7(9) = ESeSe); Ir(B) 一 下 (SS ) 
对 任意 的 BE 地,- .有 


9 ,7 Ti 也 T 
| I {iAP (£2) 一 | ET td 


EE 

地 户 (tdA 一 Be (BB) 
四 上 

3 pr-BY) = | (zjd 

a “ 芭 | Pe * 


9 
一 | EA 


加 
一 | 号 Inpo(z)dFotz) 


因 吾 呈 任意 的 ,由 条 件 期 望 的 定义 有 
St) 一 EelSo( HX), a.s， 
令 且 一 So0x) 一 SCTCr77 ,出 
ECWWD)= EL (Se 一 吕 )0S — $8) ] 
一 ECSe$w ) 一 ECS So ) — ECSeSs ) 十 下 (SS ), 
利用 了 (Ses) 一 己 [E(CSes | 了 T)] 一 ECSHSF), 立 有 
ECWW') ~ E(S60) 一 EC(SESY ) 0 


证 毕 、 
从 直观 上 看 ,定理 2.4 的 结论 也 是 显然 的 ,因为 统计 量 是 对 样本 的 
加 本 ; 它 不 可 能 比 样本 自身 提供 更 多 的 信息 . 
定理 2.5 在 定理 2.4 的 条 件 下 ,17(8) 一 1(6),Y 8EB 的 充 要 条 
件 是 7 了 (XI 是 充分 统计 量 ， 
证 明 ; 必 要 性 ;由 定理 2.4 的 证 明 过 程 及 [4 二 1(9) 知 
‘68) — Ir(0) = EL (Ss ~ SEH)(Se $1)’ ]=0 
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从 而 
SaelT) 一 
记 昌 =1d ,dd9.) 任 取 荡 扣 旨 . 将 全 微分 (0Sezr)ydb 一 
CSFCT CA Yd9 从 90, 到 自 积 分 ,给 出 
Inpstr) 一 lnps Cr) = Inpi (TCr)) — lnps (FT Cr)) 
此 即 
四 的 位》 = gO T OTICr) 
其 中 C89,TC7))= pCTECrDD) ,hr) 一 po (xr)/pi (T(r)). 由 因子 分 解 
定理 ,T(tX}) 是 充分 统计 明 . 
充分 手 的 证 明 可 查阅 文献 
定理 2.5 表明 , 当 生 仅 当 了 工 (X) 是 充分 统计 昌 时 ,TC(X) 记 会 站 的 
信息 与 样本 一 致 ,这 说 明 ,Fisher 将 (9) 称 为 信息 剧 悄 有 一 定 的 根据 . 


3 2.3.3 信息 不 等 式 


信息 不 等 式 也 称 Cramer-Rao 不 等 式 , 它 是 出 Hisher 信息 表示 无 
伪 估 计 的 方差 ( 协 差 阵 ? 下 限 的 一 个 不 等 式 . 

定理 2.6 设 1pfry9Ee 回 1 为 Cramer-Rao 正则 上 族 ,人 台 C 广 BR*, 其 
Fisher 信息 天 的 是 非 奇 矩阵 ,并 设 gt 扑 二 Cg 的 gC))' 05 用 
3 有 7 3; 对 一 切 一 1 一 1 都 存在 .假设 了 (X) 是 有 (8 的 


模 平 方 可 积 的 无 偏 估计 ，, 记 4A 一 ECTS4) 一 .58(9). 则 有 
VaretT(AD AT (OA, YOEO 2.13) 


其 中 A1-1(9)A' 称 为 gc9) 的 无 偏 估 计 协 其 阵 的 下 异 , 吉 称 为 g(6) 的 无 
仿 佑 计 的 Cramer-Rao 下 界 ,简称 心 -RR 下界 ， 
证 明 : 记 WW 二 了 (X)- g(9) 一 AL !(99Se(X), 其 期 户 与 方 荐 分 别 为 
EW— EAT(X)) - g(0) 一 AI'(BIESAXY = 0 
VareeW)y — EWW’) 
FELTOX) gO TRY gD THAT ECSs3w IIIA 
—ELCTCOX) 一 89))S9 MA’ AMT EIS.(T CX) —gC0))'] 


& 23 ”六 息 站 等 式 " 109: 


一 VaraTX)) 十 ATA — ATA AIT'A' 

= VaretT(XI) 一 站 

由 于 YaroW) 实 0, 立 有 (2.13) 式 成 立 . 
二 上 一 1 是 最 简单 而 常见 的 情形 ,此 时 (2.13) 式 简化 为 


| 


Vars(T(X)) > | /1 8) C2.14) 


对 重复 抽样 结构 ,10)= 二 zn (0)， 

对 信息 不 等 式 ,我 们 必须 牢记 它 是 有 和 条件 的 . 当 定 理 条 件 不 满足 

有 这 样 的 无 偏 知 计 存 在 ;其 方差 比 直 接 算 得 的 C-R 下 界 还 要 小 . 
Cramer 十 1946 年 给 出 旭 下 的 说 明 例 子 . 

例 2.38 设 革 ,全 是 来 自 密 麻 状 数 为 如 (7] 一 e ,xz 
的 一 个 样本 . 蚂 然 ,该 分 布 族 支撑 与 有关, 不 是 Cramer-Rao 正则 族 . 
如 直接 计算 C-R 下 界 , 有 


7 6) = E| ec] = 
由 而 如 的 CC- 民 下 界 为 17T( 外 一 1/r. 另外 ,我 们 知道 此 处 下 wy 蚌 充分 统 
计量 , 取 8( 芝 ) 二 玉山 一 1Vny 则 扣 开 ) 的 概率 密 诬 函数 为 

PUO) = ne I i 
不 难 算 得 


E(B(X)) = 上 ee 
门生 的 


] in 


- [ {nt — ng De rm ecto ln 
Cm | 
一 站 edy 十 9 和 17a 一 


EC Y= [ aly +0 /me mdy 
一 1 7 — [a 
故 
Var(BCXY) 一 17 
册 此 .6(X) 是 9 的 无 偏 估计 ,而 其 方差 小 于 1/4. 之 所 以 这 样 ,原因 是 该 
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分 布 族 Fisher 信息 不 存在 ,而 Tt9) 只 是 形式 计算 的 结果 .顺便 指出 , 指 
数 族 是 Cramer-Rao 正则 族 , 它 浦 足 定理 2.6 的 条 件 , 因 而 对 指数 族 ， 
信息 不 等 蕊 是 成 立 的 ， 

既然 (2. 13) 式 或 (2. 14) 式 给 出 了 无 偏 估计 的 方 关 下界 ,人们 自然 
要 问 ,这 个 下 界 能 杏 达 到 ? 如 果 某 个 无 篇 估计 的 方 苦 达到 了 CR 下界， 
那 束 它 显 然 就 是 UMVYUPRE 了 . 

例 219 设 苹 ,RE, 是 来 站 上 的 的 一 个 样本 , 困 8 二 点 从 布 是 
正则 族 , 其 Fisher 信息 存在 . 由 (2. 11) 式 ， 
- 及 一 XX| XI—# 
SAXD= 久 5 -学 = 元 于 人 

Xi 1 1 

[元 二 也 | 8 一 的 

如 果 我 们 要 枯 计 8, 则 由 (2:14) 式 知 其 无 偏 贷 计 的 C-R 下 界 为 
ET 一 人 jn 现 取 六 作为 8 的 人 千 计 , 则 显 有 VarsCX) 一 81 一 和 /rn. 和 设 六 
的 方差 达到 8 的 C-R 下 界 , 这 也 表明 六 是 8 的 UMYVUE. 

如 果 我 们 要 舍 计 上 (四 三 六; 则 gt 站 的 无 偏 居 计 的 CC-R 下 界 为 4 本 


一 和 /a 得 全 2.9 知 g( 四 的 UMVUE 尾 TCX)= DX Dx 一 1)/ 


ntn—1). ic Y= 2 和 , 则 Yoptn BT(X)=YY 1) (n(n om 1))., 
对 小 于 nn 的 眼 
ELY(Y 一 1-…(Y — £)] 


= = Pid — De 的 la 一 人 


3 1 关 
-Ss yA 0 


一 en — Jn OR 


1 《7 一 丰 一 17)! 
D> 0 0 


= ncn Oo Tn Oo RPT 


易 计算 
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ElYitY = El{Y(Y oe DE - DY -3 YY 23 十 2 
一 ntn [en — 2 Oo Bn +20]| 


War IT 一 


ze TyL Dn 一 3 人 十 10 2 


一 -1 
mt 1) 


= AAFC Bn 2 Omin Co 1) 
= 1 -Bn 
此 个 计 葡 方 差 产 格 太 于 有 的 无 偏 估 计 的 C-R 下 界 . 因 荆 (六 ) 是 闫 的 
UMYVYUF ,知人 的 所 有 无 偏 估 计 的 方差 均 严格 大 于 其 C-R 下 界 . 
例 2.20 设 科 :是 来 自 Nf0 9 的 -个 样本 ,>>0， 和 由 


(2.12) 式 ,7 (9) 二 E,| 户 页 上-vae， 从 而 Fri0) 一 any/282. 现 设 要 


Varsd(X)) > 28°/n 


[4 CC 2) 二 + 2 nC 6] 


取 BCX) 二 二 和 > X*, 简 单 验算 即 知 EC = Vars (0) —29 /rn; 从 而 
人 (和 ) 的 方差 达到 C-R 下 界 , 它 是 的 UMVUE. 

若 履 估 计 o 全 sg() 一 YB, 因 3 操 ( 扑 /WH 二 50 .由 (2.14), 对 6 的 
任 一 讽 策 估计 了 5CX) 有 


VarsptT (XY)) EB/2n C2.15) 
取 了 (X) 一 cf >) 和 2 因 >》 和 /aa 一 发 ,可 算得 a 二 
| 
V2rl "| /TI FE 因此 ， 选 一 | 各 [v2T( 写 


TLRX) 成 为 g 的 UMYUE. 此 时 
Vara(T (XR)) = cECO A 一 和 一 1 (C2.16) 
对 一 些 z,(2.16) 与 的 无 偏 合计 的 C- 有 下 界 的 比较 剂 于 表 2.1 中 . 
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表 2.1 《2.16) 与 C- 了 下界 的 比较 


本 EE 
je: -1 | 口 。 .5706 | 2732 | QO .tus 
[2n {ne 一 1 | 吕 . .8760 ] .9149 | 站 -全 这 


由 此 可 见 . 了 5 的 方差 2. 16) 式 达 不 到 其 心 及 下 界 . 但 随 着 二 的 
增 大 ,二 者 的 善 旺 越 来 越 小 .用 Stirling 公式 可 证 明 .?3nCnci 一 1)~ 一 1(n 
一 oo0)( 见 例 2. 5)， 

本 例 中 ,一 8 的 无 偏 信 计 的 C -及 下 界 也 可 直接 由 zc) 给 出 . 事 
实 上 ,由 于 


SD 2 PD - .1 - 
所 以 
aS (XY) 3 2 


由 此 也 囊 得 出 (2,15) 式 . 
$ 2.3.4 有 效 无 偏 估计 


综 上 上 可见, 对 咎 则 条 和 件 下 的 分 布 族 , 有 些 参 数 无 二 衙 计 的 C-R 下 
界 可 以 达到 . 谭 有 些 则 不 能 . 通常 把 达到 C-R 和 下界 的 无 俩 估计 称 为 有 
效 无 篇 合计 ,而 把 无 偏 估 计 的 方差 与 其 C-R 下 界 之 比 史 倒数 称 为 该 居 
计 和 的 效 , 如 表 2.1 中 最 后 一 

定 兴 2324 设 1ps(x) ,9E8} 蚌 Cramer-Rav 工 则 族 ,g(C 人 的 是 可 和合 
参数 ,.TCY 中 &(O 的 -个 无 偏 估计 , 则 稼 

Cg OT HD /VaretT CK)) 
为 千 计 隋 (X) 的 效 , 如 果 效 等 于 1, 则 黎 了 TC(X) 为 gt8} 的 有 效 无 篇 合计 . 

下 而 讨论 有 效 巨 偏 居 计 存 在 的 条 件 . 

定理 2.7 没 ipyic) EE 国 | 为 Cramer-Rao 丰 山 族 , 其 Fisher 信 
息 了 8) 存放 不 为 0, 及 设 g(8) 的 一 阶 针 数 存 在 不 为 0. 倘 帮 在 g(9) 的 


2.3 信息 不 委 式 - 113 。 


无 偏 估计 二 X) ,使 得 
Vare TIX)) = (g' (C0) (1) 
则 存在 实 画 数 ct 的 ,w(tzr) 和 及 (0D ,使 
Inpatr) = PADT 十 et + dl) {2.17) 
或 
patx} = exp hITER) + el) 一 fr) 

证 明 : 令 WW 一 了 CD 一 gt 一 pg COI Str): 风 EW =0, VarytW) 
一 Ware( 了 CX) (gt 扑 1 一 0, 从 而 WW 二 01a.x.. 山 于 了 与 ( 旭 均 
不 为 上 各, 战 


St) CO— 


Tt) 
a C0) 


其 中 ,人 的 一 FT) 的 一 TEA (0 肥 定 如， 


《TOz) gO) 全 各 (TIz) -- (9 (2.18) 


四 二 
| (TD do 一 | [i CrYmtw) 一 Ce ldw 
师 吕 、 


全 AOTC 十 避 ED 

记 0) 一 inpstzly 便 有 (2 17) 式 ,定理 得 证 . 

定理 2.7 衣 上 旷 ,有 效 无 偏 佑 计 只 在 指数 型 分 布 族 声 合 才 可 谈 太 , 然 
而 并 非 指 数 族 中 任 … 吕 个 参 数 都 有 有 效 无 偏 人 让 ,如 例 2.19 和 例 2, 20 
中 看 记 的 耶 样 ,有 些 参 数 有 有效 无 久 知 计 , 有 些 则 无 -下面 的 定理 讨论 
有 效 无 偏 估 计 存 在 的 充 要 条 件 . 

定理 2.8 设 轩 =( 玉 El,…, 芝 .) 的 分 布 为 指数 记分 布 

prid) ~ exp{oT tr) + co) 一 人 (TD 

则 g (69) 存在 有 效 无 偏 估 计 的 充 要 条 件 是 存在 党 数 a,5, 使 得 g (四 二 
aEvT tp. 

证 明 : 先 验证 充分 性 , 因 
Flnplzt| etl) 


(8) Es 


a | 
而 gt aET(X)+b= a ee 92 ,所 以 8 CO) 
:人 


的 无 依 估计 的 C-R 下 办 为 一 . 取 R&t2) 的 估计 为 训 (Cz) 一 
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aTCr) 二 5 即 知 gCr) 是 gt8) 的 无 偏 和 估计 ,日 Vary ( 产 (K)) 二 a? 


涩 
人 站 ,达到 C-R 下 界 ， 


再 证 必要 性 . 不 妨 设 gC0) 不 恒 为 常数 ,8(z) 为 4( 作 的 有 效 无 仿 
计 , 由 (2.18) 式 知 ,存在 这 样 的 区 (四) 关 0, 使 Sytr) 一 m9) (g(x) 一 
gC0) ,又 S44) 一生 二 T(z) , 故 

mi BC) gO 一 3 的 /四 上 Try， YIER 


VarsCT (XN))=—u’ 


此 即 
EC) 一 TI 十 有 YE 

因 冯 (z) 与 9 无 闫 , 立 知 a(9),( 引 应 与 8 无 美 , 记 为 a,b. 即 证 得 必要 
性 . 

对 多 参数 情形 有 类 做 的 结论 己 ,此 处 从 略 . 

效 的 性 念 在 不 同 场 全 有 不 同 定义 ,最 常见 的 效 是 2.5 节 中 定义 的 ， 
此 处 定义 的 黎 不 常用 .因为 我 们 已 经 看 到 ,大 多 数 场合 是 不 存在 有 效 无 
偏 情 计 的 , 亦 即 效 不 可 能 达到 1, 这 使 得 大 们 对 如 此 定义 的 效 产 生 疑 
问 . 因此 ,有 人 建议 用 UMVUE 的 方差 取代 C-R 直 民 来 定义 无 偏 估计 
的 效 . 

信息 不 等 式 在 正则 场合 确实 手 供 了 一 种 正明 LUMVUE 的 方法 , 然 
而 我 们 已 经 看 到 ,这 种 证 明 方法 只 在 指数 型 分 布 族 下 对 少数 参数 适用 ， 
而 且 它 不 如 上 节 给 出 的 方法 来 得 简便 . 因此 可 以 说 ,信息 不 等 式 在 证 明 
某 个 无 偏 佑 计 为 UMVUE 方面 作用 甚 小 . 然而 ,信息 不 等 式 在 大 样本 
场合 给 出 了 .个 很 好 的 点 差 下 界 ,这 个 下 界 是 可 以 损 近 的 .由 此 引出 了 
一 类 很 重要 的 佑 计 : 崭 近 有 效 的 估计 序列 . 这 将 在 2. 5 季 加 以 讨论 . 


$ 2.4 此 估 计 与 替换 方法 


§2.4.1 矩 估 计 
前 面 三 节 主 要 从 牛 计 性 质 角度 讨论 了 参数 估计 问题 ,本 节 和 下 几 
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是 寻找 参数 点 全 放 的 二 种 主要 方法 .本 节 先 介绍 矩 法 . 

用 枉法 求 居 计 被 认为 是 最 古老 的 求 佑 计 的 方法 之 一 , 它 由 天. 
Pearson 在 本 世纪 初 提出 , 其 基本 黑 路 是 用 样本 入 此 其 函数 个 计 相 应 
的 兽 体 矩 及 其 函数 ,具体 如 于 . 

说 天,*…" ,及 ,是 来 自 某 总 体 的 一 个 样本 ,以 js 记 总 体 的 7 阶 原点 
插 ,za 记 由 义 ,,…, 基 ,得 到 的 x 阶 样本 原点 类 , 即 


p= EX m,= DX (2. 19》 


如 果 果 傅 数 8 可 以 表示 为 总 性 前 * 阶 矩 的 函数 ., 基 

旭 二 gE a ry) 
则 我 们 可 用 XX) 二 go ymag) 人 生计 8,8CX} 即 称 为 8 的 矩 估计 . 比 
如 ,由 矩 法 ,我 们 可 用 样本 均值 和 样本 方差 分 别 估计 总 性 均值 和 总 二 方 
盖 . 

例 2.21 退 民 是 来 自习 的 :个 样 森 . 如 果 表示 某 
事件 的 成 功 概率 ,通常 捉 件 的 成 败 机 会 比 g( 引 一 8/01 一 具有 是 人 们 感 兴 
趣 的 参数 . 单纯 从 无 偏 性 等 角度 导出 g( 引 的 估计 是 败 难 的 ,事实 上 ,此 
处 gt) 没有 无 但 估计 (5 现 例 2.7). 然而 我 们 可 以 由 矩 法 轻松 地 给 出 


g( 引 的 个 很 不 链 的 估计 . 因 8 是 总 体 均值 ,也 录 法 , 记 又 一 过 2 Xx., 
则 


T(X) = KR/( ~ XK) 
是 号 (的 的 -个 托 和 估计， 
叶 儿 ,由 于 WarstX7 一 60 一 站 ,gC 站 也 可 写成 
8(0) = F/O -| 
有 从 而 和 "As 也 是 g( 外 的 一 个 给 估计 . 

这 种 窍 估 计 太 唯一 的 现象 不 是 个 别 的 . 比如 , 芒 革 ,,*** ,XX, 基 来 得 
Poisson 分 布 PD) 的 一 个 样本 ,由 于 XX 一 4,VartXX,) 一 4; 因此 ,样本 
均值 入 各 样本 方差 5; 都 可 以 作为 4 的 和 矩 估 计 ; 六 比如 ,对 正 态 分 布 
Na ) ,由 于 其 偶数 阶 中 心 抱 为 
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2" rl 

因此 任意 -- 个 2r 阶 样 村 中 心 窍 都 可 以 纵 出 一 个 的 针 佑 计 ， 

在 矩 居 计 不 唯一 时 ,人 们 可 以 根据 如 下 两 个 基本 原则 米 选择 矩 估 
计 :《1) 涉 及 到 的 矩 的 阶 数 尽 可 能 小 ,只 而 对 总 体 的 蜗 求 也 尽 可 能 少 ; 常 
四 的 矩 个 计 一 般 只 涉及 一 ， 二 阶 窍 .42 所 用 估计 最 好 是 《最 小 ) 充 分 统 
计量 的 遇 数 ,因为 充分 性 原则 在 各 种 统计 知 题 中 部 应 是 适合 的 . 警 如 ， 
在 例 2. 21 中 ,对 -点 分 布 ,8/(1 一 各 的 答 估 计 应 也 六/ (1 一 节 ) ;对 
Poisson 分 布 (和 0,4 的 答 居 计 应 取 准 ; 而 正 态 分 布 中 a 的 矩 佑 讨 自然 
应 取 二 阶 样本 中 心 垂 ( 样 本 方差 ). 


$2.4.2 短 居 计 的 特点 


矩 估 计 有 两 个 基 木 特点 ,其 一 , 矩 估 计 基 于 经 验 分 布 国 数 ,而 经 验 
分 布 函数 至 近 真 实 分 布 的 前 提 条 件 是 样本 容量 较 厌 ,因而 理论 上 讲 , 矩 
方法 是 以 大 样本 为 应 用 对 象 抑 ; 其 二 , 乍 方法 没有 几 到 总 体 分 布 的 任何 
信息 ,本 质 上 讲 知 是 一 种 非 参 数 方法 ,对 已 知 的 总 体 分 布 , 矩 情 计 不 一 
定 是 一 个 好 的 知 计 ,虽然 如 此 ,人 们 一 般 并 不 把 矩 方 法 完全 当成 非 参 数 
方法 , 室 在 小 样本 场合 也 常 得 到 应 用 . 事实 上 ,在 许多 局 合 ; 比 如 对 二 项 
分 布 ,Poisson 分 布 , 绰 态 分 布 等 常见 分 布 的 均值 ,其 矩 估计 具有 许多 优 
良 的 性 质 , 它 是 UMVUE. 

对 - - 般 情 况 下 的 和 矩 估 计 , 通 常 只 能 考虑 它 的 大 样 林 性质. 下面 的 定 
理 给 出 了 答 估 计 的 大 样本 性 质 . 

定理 2.9 设 六 .7C 为 独立 同 分 布 变 量 序 州 ,FE|X|* 守 00 ;9 一 
ty 并 设 加 是 连续 的 , 则 矩 情 计 8 一 gf ze? 是 站 的 相 侣 
个 计 . 

证 明 :山大 数 定 律 .定理 ?2, 1 及 的 连续 性 可 得 . 

定理 2. 1 设 邢 ，…, 成 .为 独立 同 分 布 变量 诈 列 , 卫 | 瑟 , | 站 <eo. 
记 昌 一 (8 一 和 Copy 并 设 扩 对 入 有 连续 俩 导数 导 一 1， 
对 日 的 奸 俏 计 和 = Cg (mi,…， 
ms 有 
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VO — 0) > N.C0,G20’) 
其 中 三 是 上 Xk 共和 矩 阵 ; 其 习 , 门 元 素 为 Ap 一 后 Ar 
证 明 : 这 是 下 面 引 理 2. 12 的 特例 . 
引 理 2. 11 记 了, 二 CT 本 8 一 (人 2, 设 


vn (T, 一 的 -= NCO, 2) 


其 中 三 一 【Guy 到 设 et a st) 对 种 xii 有 连续 偏 导 数 ; 则 当 noo 时 
有 


I 
vn Tg CT Th) — gO sb) 
其 中 (9) = SS 过 加 oj. 


到 CD0:asCB)7D) 


' 绑 EE 
证 阴 ;: 由 Taylor 展开 式 


点 . 
gOT ses Tih) 一 8 = GT 一 0) 鸭 十 ol 一 8 
i=1 r 


其 中 中 7, 一 981 = VGT ,一 6 的 , 旦 当 了 和 ce>0, 亦 即 ,Y e>> 
0, 人 >0, 只 要 | 了 一 由 < 一 1. ,有 | 一 s ,于 是 
Pr 外 | 过问 六 PT 一 281 一 1 
即 < -二 0, 又 CT 一 田 依 分 布 收 伍 , 立 知 
vielT. -0 -0 
由 Slutiskey 定理 ， vn [ge Tn) | 与 ”Hi 3 


引 理 得 证 . 
引 理 2. 12 T, 及 其 新 近 分 布 同 引 理 2. 11, 设 向 量 画 数 
Ee ta) 二 CCE se ti sp Crs te yy) 


其 中 繁 一 个 &; 对 己 都 有 连续 偏 号 数 , 记 G 一 | "次 | , 则 有 


[ge Te) — gO 0) N,(0,G30') (2. 20) 
证 明 : 对 任意 的 a 二 (a yas) EER, 令 了 5 一》 aig， 则 由 引 理 


=]1 
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= a G2G'a 
由 & 的 任意 性 知 (2. 20) 式 成 立 . 
有 了 定理 2.10, 我 们 可 以 在 相当 一 般 的 条 件 下 求 甜 估计 的 淅 近 分 
布 . 
例 2.22 设 二 ,…, 工 为 独立 同 分 布 变量 ,下 1X|1 <co, 记 8 一 
C0) ,其 中 . 
A EX = 向 会 名 (CA st) 
os Var(X) = pe — pA Batt pts) 
于 是 


GG 二 


i _' 1 中 -| 1 oo 
ex 1 一 2p0 1 一 25 1: 


令 了 一 (ps saoC vs 一 ( 文 .927 ,由 定理 2.10 有 
vn (T,. — 6) > N,.(0,GE) 
其 中 
: pa 一 pp 
三 -= 1 A | 
Fa Fi A A 
经 计算 得 
| a: Hs 
G20' = | 
py ho 
其 中 以 表 示 XX 的 7 了 阶 中 心 逢 ,有 即 一 上 (一 上 7 一 3 由 此 我 们 可 
以 得 到 及 ,S$S: 及 其 函数 的 渐 近 分 布 . 合 如 ,由 
VRS: — 01) -人 NGO 一 人 


令 有 (一 vw, 则 对 a 的 盾 和 估计 5, 有 
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RS NO -ad4a2 
在 讨论 给 估计 的 大 样本 性 质 时 ,其 相应 的 总 体 矩 的 存在 性 是 很 重 
要 的 . 落 总 体 抵 不 存在 ,样本 矩 也 不 是 相合 的 ,即使 是 一 阶 样本 垂 ， 
Cauchy 分 布 是 你 知 的 例 . 
和 例 2.23 设 X mv:X 是 来 自 Cauchy 分 布 的 个 样本 ,密度 函数 
为 
p(x = rl x 《2. 21) 
因 Cauchy 分 布 的 特征 函数 为 e" ", 易 知 及, 二 上 和 Xi 的 特征 钞 数 也 
为 eg “, 故 天, 的 分 布 仍 为 (2. 21) ,从 而 ,YY 了 0,Pr(| 加 一 9| 污 人 对 


所 有 保持 不 室 , 故 及, 不 是 8 的 相 全 合计 ,事实 上 ,XX, 不 是 任何 一 个 
参数 的 相合 估计 ， 


§ 2.4.3 频率 替换 怖 计 


和 号 虑 由 ?次 独立 重复 试验 组 成 的 序列 ,每 次 过 验 有 上 种 可 能 的 试 
验 结果 出 现 . 令 轧 表 未 出 现 第 ;个 结果 的 概率 ，》) _ pp; 一 1. 设 n 表 
示 次 试验 中 结果 j 出 现 的 次 数 , 则 n= (mm ,my 称 为 单元 频数 向 
量 :, 其 精确 分 布 为 密 项 分 布 Mavpro pi}, 寻 然 ,可 用 nyvn 短 计 pp. 
而 且 . 令 天 一 人 0001 0 0) sxly 它 表示 第 ;次 试验 的 缚 果 . 若 试 
验 结果 为 户 则 中 唯一 的 一 个 1 位 于 第 7 了 位, 则 nn 二 1" ,x; ,因此 ， 
4 是 iid 和 ,由 中 心 极限 定理 立 有 


/7| 于 一 四 一 Ni(0.D (2. 22) 


其 中 正二 Cpiss: pe) + 二 一 EE 
人 — py, i=j 
Hii 一 . . 
一 pipj: 1 
进一步 ,¥ b= Cp sr bER, 我 们 可 用 b'n 个 itb'p,H 


oe LL 
ndn hp) NCO,o) 
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其 中 a 二 656 二 pp? 一 (Db pp). 

选取 不 辐 的 哺 ,我 们 可 以 对 一 些 感 兴趣 的 参数 进行 估计. 比如 估计 
和 具有 某 种 性 项 的 结果 出 现 的 概率 ,两 种 具 不 同性 质 的 结果 出 现 概 率 之 
差 等 等 . 

更 一 般 地 ,我们 可 以 考虑 p1,… ,pi 某 个 连续 画 数 的 伟 计 ,由 引 理 
2.11 和 引 理 2.12 知 , 只 要 该 函数 关于 记 的 篇 导数 存在 且 连 续 , 册 该 
情 计 也 是 渐 近 正 态 的 . 

常 移 的 情形 是 ,pp, 是 参数 0 一 (2 员 ) 的 连 纺 隐 数 . 如果 日 能 够 


表示 为 p.,… ,ps 的 连 绪 函 数 (p4,…，p4), 则 我 们 可 用 | 于 ,本 | 信 


理 


计 有 如 当然 ,8 的 这 种 表示 可 能 不 唯 --, 从 而 对 日 有 不 同 的 估计 ,存在 着 一 
全 估计 的 选 搓 问 题 .下面 我 们 用 一 个 例子 来 说 明 这 一 问题 . 

例 2. 34 假设 试验 有 三 种 可 能 结果 ,分 别 记 为 1.2.3, 其 出 现 概率 
分 别 为 


Pi= ,ps = 28(1 一 bp 一 (一 的: 

其 中 0<6<1, 这 是 著名 的 Hardy-Weinberg 模型 . 
记 市 为 闫 次 试验 中 结果 出 现 的 次 数 , 则 人 Caoasyo7 服从 MCn， 
piopzvp3), 声 我 们 要 估 汗 8, 我 们 可 以 把 8 表示 成 p .ppb; 的 连续 函 


数 . 此 处 这 种 表示 不 崔 一 ,比如 ,8 二 Vp ,0 二 1 一 Vp..0 一 p 十 ps/2 等 
等 ,因而 我 们 至 少 有 起 个 看 起 案 合 理 的 和 估计 


了 一 WA 了 2 一] 一 Vas/n, Ty 一 《nl nf 2 /nn 
对 Ti.7s,Ts 的 比较 当然 可 以 根据 均 方 误差 进行 ,然而 这 里 均 方 
误差 的 计算 相当 繁杂 很 难 完 成 ,而 浙 近 性 则 是 简单 血 有 小 的 比较 准则 . 
显然 ;77::7 3; 都 是 2 的 相合 傅 计 ,其 渐 近 正 意 分 布 电 是 局 求 的 ,这 时 
渐 近 方差 大 小 就 是 一 个 选择 标准 . 
对 8 一 pi 1pa) ;而 (2.22) 式 及 引 理 2.11 知 


v 责 | 让 于 本 | 一 下- 一 NC0,08) (2. 23) 
， 可 扫 ! ! 
其 中 
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过 了 Ea 加 
| 
本 例 中 中 一 V ,让 二 1 一 V as , 矶 一 和 十 六 /2 其 对 应 的 或 分 别 为 


“| - 本 中 


一 了 一 p) 一 二 (1 一) 


区 | - ;入 ps =| 
02— ps 
Bl Vp 

一 了 一 疡 :》 一 [1 一 (LI 一 分: 

og3= (pi 十 疡 sd4) ~— (pi par2)” 

= =H] -0/2 

| (2. 23)，, VT 0 LN CO,0?) 313. 
对 ql ,92,03 进行 比较 可 知 最 小 ,而 o2 与 oi 互 有 优 省 ,因而 可 以 

试 为 了 ; 是 一 个 好 的 千 计 ( 见 图 2.1). 事实 上 ,了 7, 即 为 下 一 背 要 讨论 的 
如 的 极 天 似 然 估计 ， 


0 Gl 02 03 04 05 O06 97 0.8 0.9 18 


图 2.1 i,o2,o3 的 比较 
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S$ 2.5 极 大 似 然 估计 


§2.5.1 定义 与 例子 


极 太 似 然 方法 是 统计 中 最 重要 ,应 用 最 广泛 的 方法 之 -一 . 该 方法 最 
初 由 德国 数学 家 Gauss 于 1821 年 提出 ,但 未 得 到 重视 ,R. 入 .Fisher 在 
1922 年 再 次 提出 了 极 大 似 然 的 思想 并 探讨 了 它 的 性 质 , 使 之 得 到 广泛 
研究 和 应 用 ， 
在 得 府 统 计 中 ,概率 密度 项 数 户 (rig) 扮 演 了 重要 前 色 . 当日 已 知 
时 ,zz 显示 概率 密度 怎样 随 r 变化; 反 过 来 , 当 样 本 上 色 定 后 ,可 
考 澡 对 不 同 的 0 概率 密度 如 何 变化 , 它 反 上 映 了 对 xz 的 解释 能 力 , 这 便 
是 似 然 . 
定义 2.12 设 rig),0E 母 是 (R" 汐 ww) 上 的 一 族 联合 概率 密度 
硒 数 ,对 给 定 的 =, 称 
LG) 一 hplxs0) (2. 24) 
为 8 的 似 然 是 数 , 其 中 必 汪 0 是 不 恢 赖 于 的 量 , 常 取 上 二 1. 进一步 ,车 
存在 (了 R", 淘 到 (日 ,有 6) 的 统计 量 所) 使 
LO(r) xr) 一 supl. (O37) (2.25) 
岂 页 z? 称 为 如 的 一 个 轰 大 似 然 估计 (Maximum Likelibood Estimate)， 
简称 MLE. 
由 于 福 率 密度 函数 大 多 具有 指数 国 数 形式 ,采用 似 然 函 数 的 对 数 
通常 更 为 简便 , 称 
tsz] = lnL(Byr) C2. 26) 
为 日 的 对 数 僻 然 函 数 . 由 于 对 数 变 换 是 严格 单调 增 的 , 故 2(8;x) 与 
工 (83z) 在 导 求 极 大 值 时 是 等 价 的 ， 
当 MLE 存在 时 ,寻找 MLE 最 常用 的 方法 是 求 导 数 . 如 果 Er) 是 
恕 的 内 点 , 则 弥 rz) 是 下 列 似 然 方程 
RTI = 0 = 1 {2, 27) 
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的 解 . 
例 2. 25 设 于 有。 是 来 自 Ca ) 的 一 个 样本 , 则 


[osr) =— nlne 一 SD) Cr 一 1) /90 


由 (2.27) 
lS nn) 0 
py ey na) 一 
A Dr 一 A 天 
dr’ oa! 2 0 
由 此 给 出 和 和 o 的 悄 计 为 
= = i zx) 《2. 28) 


可 直接 验证 ,mx,z ' 确 是 &g 和 of 的 MLE. 

如 果 我 们 对 参数 空间 加 以 限制 ,譬如 ,假设 已 知 e>0,MLE 将 发 
生 蛮 化- 本 例 中 ,车 了 >0 出 (2. 28) 仍 是 4 和 玫 的 MLE. 若 <0, 则 由 
于 Wdg 得 小 于 0,1Cg, 中 ;之 ) 关 于 py 单调 降 , 易 知 当 yy 为 0 而 王 为 
> 时 工 (rsczz) 达 到 最 大 . 因 册 MLE 变 为 

A= max(z,0) 
G ?一 Dr — AY/n 
例 2.26 设 匡 "XX 是 来 自 801, 介 的 一 个 样本 ,0<<8<] 
上 Cr) = An Dx 十 1 一 们 Int 一 了) 


可 一 Sx/n 一 过 
当 0<zr<1 时 , 易 验 证 6= 工 是 2 的 唯一 的 MLE, 而 当 >》 一 0 或 = 
时 ,出 于 XX 不 在 总 内 ,严格 意义 上 讲 MLE 不 存在 ,但 在 实用 中 ,大 们 
往往 仍 把 及 称 为 8 的 MLE. 为 此 ,有 人 对 MLE 定义 加 以 补充 : 当 扣 zz) 
所 全 , 若 存 在 - 串 忆 Cr) ,使 lim 久 (x) 一 Bx), 且 人 (x)EQ n=l1,2,， 
则 gr 也 称 为 品 的 MLE. 
由 上 述 两 个 例子 还 可 以 看 到 ,MLE 党 是 充分 统计 量 的 函数 .. 由 因 
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子 分解 定 理 负 ,车 7 为 充分 统计 量 ; 则 p(x 四 一 g 400.Cr)9A(xX); 邦 
0x) 一 lng (6,T(r)) 二 lnk (rz), 由 此 ;使 1(8;z) 达 最 大 与 使 
(9,TCr)) 达 最 大 是 等 价 的 , 敬 (7T) 可 取 为 了 (x) 的 函数 . 

在 上 述 了 两 个 鸽子 中 ; 役 然 方程 的 解 唯一 ,这 在 指数 型 分 布 恋 中 都 成 
立 - 简单 起 见 , 以 单 参 数 指数 族 为 例 说 明 . 设 XY,…, 芳 ,为 来 自 p(x;0) 
二 exp{97'(x) 十 c( 四 十 Q(x) 的 一 个 样本 , 则 


arcdsr) ackB) 
一 光一 PTO) 十 翅 =0 《2, 29) 


由 于 ET(X)= 一 9c( 扑 /8,VarsT(X) 二 一 Fc(0)737 汪 0, 帮 (2.29) 闭 
有 和 解 ,; 则 此 解 唯 一 -, 且 车 铺 是 自然 参数 空间 , 则 该 解 即 为 MLE. 如 果 
(2. 29) 无 解 , 则 MLE 在 如 的 边界 处 达到 .对 多 参数 指数 族 p(x;0) 二 
exp {2 Try 二 eg 二 CCz ,和 似 然 方 程 化 为 
STCr) =— noc(O /WB 了 一 了 (2. 30) 

有 完全 相同 的 结论 . 

MLE 有 一 个 非常 有 吸引 力 的 性 质 : 如 果 站 是 8 的 MLE,gC。，) 为 
可 测 函 教 , 则 (全 也 是 (9 的 MLE. 该 性 质 称 为 MIE 的 不 变性 , 它 
使 MLE 在 用 于 参数 两 数 时 十 分 简便 ， 

如 果 g( 1) 是 一 对 庶 郊 ,不 变性 是 显然 揭 . 如 果 g(t，}) 不 是 一 一 
对 应 的 ;为 衡量 g( 人 的 可 能 性 ,给 出 诱导 亿 然 的 概念 . 设 gc*) 是 8 到 
的 可 测 变 换 ,对 任意 的 oE 只 , 定 交 下 [(@) 一 1 (= 人 ma) 称 为 
ww 的 陪 集 , 称 M(tw;7) 一 sup (9z) 为 诱导 似 然 油 数 , 任 此 意义 下 , 因 8 
EGCECO) ,HH 


LB;7) = supL (0 ;x) 
BE 可 


az(g( 们 ;zz) 一 sup 工 (ixz) 
BE Cg 


一 了 (Biz)y = SUP 瑟 (Br) 
如 所 帆 
2 sup Lx) = Miw:r) 
EE Cf) 
这 就 证 明了 MIE 具有 不 变性 . 
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例 2. 27 设 5CX YX 是 来 日 一 元 正 态 总 和 伍 的 一 个 样 
本 ,ECX 二 EY 一 0, Var 其 一 Varfz 一 GCCOV[ 和 9 7) 一 Ar2 
0ypE (一 1:1) ,下 求 呈 的 MLE. 枯 


pir yo, 0) = | 2xo? wl Pr] * 


引入 二 Cal 0 一 p91, 则 p= 0, [ez "f I 二 产 ] 一 
YR 一 贷 , 于 是 


plz,y101,0) = exp{0,| ;Cz | > | | 人 5Py 十 


yin ) Int2n) | 


这 是 指数 族 , 其 (9, ,二 也 In( 角 一 的 ) ,由 人 (2.30) 吕 得 似 然 方程 


1 28 1 4 2 
1 = D2.40 


2 入 一 级 
1 2% 1 
2 区 一 名 | 2 XY,) 


利用 MEE 的 木 变性 ,将 外 , 史 用 中,P 宕 示 , 可 以 旋 便 地 得 到 ,pe 的 
MLE 为 
f= + 
p= 2 > ry Kx 十 Yi) 
$ 2.5.2 相合 性 与 渐 近 正 疙 性 


作为 一 种 统计 思想 , 似 然 方法 有 其 合理 性 ,得 到 估 们 认可 . 然而 就 
小 样本 而 言 , 却 没有 一 个 定理 能 说 明 MLE 本 身 有 什么 优良 性 质 , MLE 
的 优良 性 主要 体现 在 大 样本 场合 ,在 大 样本 理论 中 ,MLE 扮演 了 一 个 
中 心 骨 色 . 下 面 几 个 定理 绍 出 了 MLE 的 大 样本 性质 . 

设 区 ,… ,六 ,是 来 自 ptzx; 引 的 一 个 样本 .简单 起 见 , 考 虑 单 参数 


情形 , 设 参 数 空间 是 -个 开 区 间 ,biz) = > lnp(zs9). 


+ 126 。 第 二 章 点 估 计 


定理 2.13 若 lnp(zi 从 在 总 上 可 微 , 并 设 pix; 站 是 可 识别 的 
(WY 不 是 零 测 集 ), 则 似 然 方程 在 n->o0 
时 以 概率 1 有 解 , 且 此 解 关 于 如 是 相合 的 ， 

证 明 :Y 几 天 9, 因 plx; 介 是 可 识别 的 ,由 Jensen 不 等 式 


En2ceg2| < InfE, acesg2]- 0 


pirsd) pirsB) | 
记 参 数 真 值 为 让 ,对 充分 小 的 GDmr0, 有 (由 一 全 , 癌 十 站 所 她 , 且 
疡 (3 一 他) 
Faln pa 0 
六 (zi 十 人 
Fa pay 0 
由 强大 数 定 律 , 当 rce 时 ， 
1 3 户 (z: 各 一 9 
TD, — ;x) 1 27) J] Es ln Pig -0 
一 -一 了 plxid, + 6) 
0 + ;x) LB. ;TY | Es ln Pr < 


又 明寺 10 在 信 _ 入 上 征 和 ,因而 点 育 _ 局 站 最 大 点 记 其 
为 8, 由 于 1(b;z) 可 徽 , 故 为 | 一 0, 从 而 ,ma-=co 时 似 然 方程 以 概率 1 有 
解 , 且 16--81<3, 由 人 的 任意 性 知 避 是 美 于 名 相合 的 ,证 毕 . 

定理 2. 14 假设 台 为 开 区 间 , 概 率 密 度 函 数 p(x;9) ,BE 母 满 中 

(1) 在 参数 真 值 8. 的 邻 域 内 ,dnp/ 弛 ,Flnp/aF ,Flnp/698 对 所 及 
都 存在 ; 

(2}) 在 参数 真 值 .的 邻 域内 ,linp/a8 | 所 HC(x),H EH(r}<io0; “> 

(3) 在 参数 真 值 名 处 ， 

PERO)T "pOXRO)T] 
El PX, 9,) j= OF pT j= 


p' (CRA) 
760) = En SF] >° 


其 中 搬 号 表示 对 8 的 微分 . 记 厅 为 rn 一 oo 时 似 然 方程 的 相 人 台 解 , 则 
HB) NEO U0)) 
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证 明 ; 由 定理 2.13 知 ,nw-*co 时 似 然 方程 以 概率 1 有 解 , 记 为 和.， 
“>6,, 其 中 9, 为 参数 真 值 . 将 驴 在 6 处 进 行 Taylor 展开 ,有 


EE a (0 — 0) 9 
击 一 两 | 十 但 一 9) 环 ,十 3 坟 : | 
其 中 饭 介 于 8 与 加之 则 . 取 9 一 六， 
_a|l _a (6. — OF 
0 一 画 |， 二 配 二 (6 0 3g7|, 1 了 | 


其 中 妨 介 于 乓 与 久之 间 , 故 全 oo 于 是 ' 南 上 式 得 


— pe 
和 Pt 
Vn 0) 一 EE CB- 2 (2. 31》 
二 一 ne 
lB | t+ 世 4 ,| 
因 1 DDInpCms0), 帮 和 |， ,器 | 为 独立 网 分 布 变量 和 , 自 条 从 
(3) 有 
alnp(X130 
Eu| 2 4 |- 也 
al ; 
Vars,| np 4 上 = 了 
从 而 由 中 心 极限 定理 有 
Vz 二 引 ， ,> NCO0.100,)) (2. 32) 
又 
、 Ee | "KO) | bX) ) ] 
4 a ， PRiBy PUR DO) 
二 一 了,) 
由 强大 数 定律 知 
1 次 | 2 10,) (2. 33) 
nn Wy 
Plnptr; :0 i 


又 当 n= 00 时 ,页 在 机 的 邻 域内 ， 


EE ,<u 于 是 
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TB OF Po 
nt 2 oF | 
由 (2.33) 和 (2.34) 知 (2. 31 式 的 分 母 依 概率 收 敏 到 一 天 加) 而 (2. 327 
表明 (2. 317? 式 的 和 耸 子 仿 分 布 收 策 到 闪 10. 开 负 )) ,应 用 Siustkey 定理 ， 
定理 得 证 . 
定理 ?, ]4 表明 ,在 Cramer-Rao 正则 族 场 合 -. 定 理 条 件 一 般 是 满 
是 的 ;从 而 MIE 是 渐 近 正 态 的 . 当然 ,在 非 正则 族 场 台 ,MLE 也 可 能 
基 渐 近 正 态 的 ,正则 和 条件 并 非 必 要 条 件 ,看 下 例 . 
例 2.28 设 革 |/，…; 芳 ,为 来 自 下 述 总 体 的 一 个 样本 ,六 1 一 
Fe ,9E RrER, 访 分布 族 不 是 Cramer-Rao 正则 族 , 其 对 数 介 然 


哨 数 为 


(2.34) 


(07) 一 一 nln? 一 了 >， (zx; — #8) 
记 0 为 样本 的 次 序 统计 量 , 上 述 对 数 似 然 西 数 可 分 段 写 为 


【一 mln2 一 Yi 十 9 0 < Yo 
1(8,z) = 一 Rln2 十 并 一 人 TT To) EO Temt1} 

十 fn 一 2m)8, 

加 nln2 一 ” np 十 >, 0 之 证 Cn 


显然 , 当 2m > 时 Jr 是 日 的 严格 增 画 格 : 而 当 2m< na 时 二 8 
工 ) 是 8 的 严格 减 函 数 . 由 此 ,如 果 壮 是 奇数 ,7f st 是 了 的 MLE, 如 果 n 


是 偶数 , 则 zi 。 与 <, 。,) 之 间 任 一 值 都 是 8 的 MLE ,譬如 可 取样 本 


LL 


中 位 数字 {3) 了 -0). 自 此 ,样本 中 位 数 .m6s 是 5 的 MLE, 对 此 分 


布 族 ,6 也 其 总 体 中 位 数 , 由 定理 1.8 知 
VR ns — WD > NEO,1) 


$8.5 极 大 似 然 说 计 ~ 129 。 


通常 ,MLE 被 认为 是 新 近 正 态 的 ,但 也 有 上 反例 . 比如 ,对 (0, 四 上 的 
均 名 分布 ,MLE 是 xm 而 你 所 周知 ,ro 的 计 近 分 布 是 极 从 分 布 ,不 是 
正 态 分 布 . MLE 甚至 也 可 能 不 是 相合 估计 ,如 下 述 友 例 . 
例 2.29 设 瑟 ,…,X。 是 来自 二 点 分 布 的 “个 样本 ,其 分 布 为 
8. 9 为 有 理 数 
1 一 8， 8 为 无 理 数 
其 中 O91. 记 T, 二 xz, 则 似 然 函数 
| 人 《入 机 
Lb;x) 一 
Bf 一 人 的- ， 引 为 无 理 数 
容易 看 出 . 吕 的 MIE 为 下 Ta, 即 
Li8;r) 一 up, LO:7) 


rt 1) 1 Pr(X=0)= 


但 
T, PP 9 为 有 理 数 (0) 
1 一 8， 如 为 无 理 数 


nh 
由 此 ,8 的 MLE 11/n 不 是 8 的 相合 估计 . 
基于 定理 2.14 还 有 -点 要 指出 ,2 (全 是 ”at 一 从 的 渐 近 分 布 
的 方差 ,一般 而 言 , 它 并 不 …- 定 是 vn 的 精确 方差 的 极限 . 广 言 之 , 若 
了 T。 依 分 布 收 分 到 久 , 并 不 一 定 有 VartT 了 Te) 一 Var(XX). 
例 2.30 设 匡 ~~U( 一 1,1); 令 
1 


?1 


n. |XI>1- 1 


庆 ， | 下 |[ 委 1. 
人 一 


则 对 任意 的 zx 和 (一 1,1)》， 
Fr tn)= PITA || 1 二 
已 [了 < 了 | 天 | 人] ln) 
其 中 
PAT 一 /过 PORTE 1 一 
而 
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0, 区 所: 一 《1 一 ln) 
PT, S|] 一 1/n) 一 全 一 中 | I 
1— 1/a, 并 
0, 工 关 一 ] 
~ 4 了 了 ， L 1 
ls+ 过 :1 


最 后 的 函数 不 是 别 的 , 正 是 X 的 分 布 函 数 ,所 以 了 ,>* 义 ; 另 一 方面 ， 
我 们 考察 1, 前 一 ,一 阶 短 ， 


一 TYm 2 
ET?= 。 二 十 | dr 


nn (一 1/n)/3 


亦 即 Var(T =nt (1 一 1/n):/3 一 1 一 oo, 而 蕊 的 方 址 var(X) 一 全 一 


言 , 可 见 了 ,的 方差 没有 收 化 到 其 产 近 分 布 的 方差 ,而 是 趋 于 光 穷 


在 定理 2.14 的 证 明 中 ,我 们 主要 用 到 两 点 事实 .其 一 是 做 然 方程 
的 新 近 有 展开. 其 二 是 应 用 大 数 定 律 ,由 此 可 写 出 


爱 此 启发 ,只 要 {2.35) 式 成 立 , 热 后 应 用 中 心 极限 定理 便 可 证 得 的 新 
近 正 态 性 ,因此 ,定理 2.1I4 可 作 允 种 形式 的 推广 ,比如 推广 到 有 限 维 向 
量 参数 . 设 PE BCR* ,如果 可 以 由 多 变量 Taylor 展开 成 得 到 


er 9) 2 Se = 0,(1) 


其 中 Ss 已 在 定义 2.8 中 给 出 ( 它 也 称 为 记分 向 量 }. 则 6 是 新 近 正 杰 
的 ， 
例 2.31 设 到/ ,-… ,XX 为 独立 同 分 布 变量 ， 
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PreR 一 站 一 下 了 了 一 1 
”wy 一 1. 为 去 除 约束 条 件 ,以 zt 二 1-- > ”和 代入 , 记 6= 


L 
{ Ms Tm 4 则 


lnptx ye) 一 lnr， 


《al 一 及 


型 一 】 


2 
这 1 
= 31 《zj 一 nlna; + Teo-mln! ] 一 > zj 


z=1 


dAnptr 6) Tor = Te =may} 
i 
Tr ;i Tor —m . 
en 和 1 ， i = jm) 
zlnpkz36 二 冯 | 
Mi Tr =。 , , 
a? i 1 
np 
lj 
一 x 十 A zt. 一 1， 9 1 


其 中 6, 二 1,; 如 时 1 二 j ;6 二 0, 如 果 i 用 短 竹 形 艺 式 表示 有 


于 [日 一 diag 二 ， -> 


Es LA 
Ar "1 ml 


记 A 二 diag 了 w= xm+ 则 
1 ] 


4 -IDE74-1 
1 _ i 
1 (0)= A ~ TA 
. G0 
一 qiag(Tly…， 四 /re 
] 十 > Ti/ Tm 


= diag ,7 ) — 60 
车 记 各 一 挫 4 : Ti 二 jf7 1, ,29 日 的 ML FE 为 fj 二 心 jl 


* ,于 是 有 
VD) NGO. 
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其 中 一 (op 一 mi 该 结果 与 上 节 中 的 (2.22) 式 是 一 致 的 ， 
事实 上 ,此 处 的 渐 近 方差 正 是 其 精确 方 菱 . 

定理 32.14 还 可 以 推广 至 其 它 场 全 ;比如 独立 但 不 同 分 布 情形 (如 
回归 分 析 ) 以 及 不 独立 情形 {如 Markov 链 ) 等 ;有 兴趣 的 读音 可 参阅 有 
闫 文献! 


8 2.5.3 渐 近 有 效 性 


定理 2.14 表明 ,在 -- 定 的 正则 条 件 下 ,MLE 的 浙 近 方差 为 
[7 ] i. 回 同 2.3 节 ,[n1(8)]' 正 是 由 容量 为 如 的 样本 得 到 的 8 的 
无 偏 佑 计 的 方差 下界 ,达到 此 C-R 下 界 的 无 偏 佑 计 称 为 有 效 无 篇 个 
计 , 因此 ;很 自然 地 可 以 将 达到 C-R 下 界 的 前 近 无 信 的 后 这 序列 称 为 
新 近 有 效 的 . 

定 发 213 设 本 ,是 g(t 人 的 相合 估计 ;gC9) 可 微 ,Fisher 信息 存 
在 , 旨 


VT, 0 ) es NO,02(0)) 
则 称 


7 加 有 4 
el0,T,) = 2 


为 了, 的 新 近 效 . 如 果 eg:T) 一 1, 则 称 了 .是 号 (的 的 渐 近 有 效 的 合计. 

Fisher 中 在 1925 年 就 猜想 饭 近 分 布 为 正 态 的 相合 估计 的 渐 近 方 
差 不 小 于 其 C-R 下 界 , 因 此 用 定义 2.13 来 定义 知 计 的 浙 近 效 有 其 合 
理性 ,我 们 已 经 看 到 ,在 --- 定 条 件 下 ,MLE 是 源 近 有 效 的 , 此 处 渐 近 效 
的 概念 比 2.3 节 中 定义 的 效 更 有 意义 ,因为 它 ( 在 正则 场合 ) 是 可 以 达 
到 1 的 . 

在 实际 中 ,有 了 时 考虑 - - 些 虽 不 渐 近 有 效 但 简便 . 易 用 且 效 较 高 的 全 
计 是 和 禄 有 用 的 .因为 浙 近 有 效 的 情 计 可 能 很 难 求 . 

例 半 .32 设 开 ，… 人 是 来 自 Cauchy 分 布 的 -- 个 样本 ,p(xri; 引 ) 
=[x(lt+ Cr -ER,: 则 


HO37) = nAGsr) 一 一 人 in[l 十 (rs 一 全 一 ?lnr 
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XO 
Pere 
通 分 可 看 出 这 是 8 的 2n 一 1 次 多 项 式 方程 , 解 它 很 轩 难 ,要 便 助 计算 
机 ,而 且 ;, 它 可 能 有 许多 个 解 , 我 们 要 对 每 个 解 计算 其 所 然 函数 加 以 比 
较 才 能 找到 MELE ,这 是 一 个 相当 繁琐 的 过 程 . 

由 于 8 是 Carchy 分 布 的 中 位 数 , 我 们 可 用 样本 中 位 数 maos 估 计 日 ， 
该 估计 息 容 易 计 算 , 其 渐 近 方差 为 T/A4n0), 那 木 它 的 就 如 何 呢 ? 对 此 ， 
要 计算 该 分 布 族 的 Fisher 信息 ， 


2(X% 一 日 | 


ND EI OE 


-『 [ 2(z ~ T 1 
| 
[1 4 工 : 
| x(1 十 zd 
令 工 一 tary, 则 


A 
4tanitsec'rdr 
ns 


sin: (C271)dt 
nD 


故 me :的 渐 近 效 为 元 站 一 8/ze( 约 为 0.81), 很 不 钳 . 


$2.5.4 局 限 性 


极 大 似 然 方法 虽然 应 用 很 广 , 以 至 于 有 人 认为 - 切 统计 推断 都 应 
从 似 热 函数 出 发 , 似 然 函 数 (9;z) 包 含 了 9 的 全 部 信息 ,然而 这 样 的 
观点 有 其 局 限 件 , 下 述 一 些 例子 说 明了 极 大 似 然 方法 的 某 些 不 足 . 

例 2.33 假设 我 们 美 心 的 是 -个 由 图 个 个 体 组 成 的 总 体 ,其 第 
个 个 体 有 个 指标 值 ,6 一 >)，, Am 是 我 们 感 兴趣 的 参数 (这 在 实际 
中 是 经 常 出 现 的 , 瞎 如 ,我 们 要 了 解 上 海 市 工人 的 平均 收入 ). 现 设 不 放 
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回 随机 抽取 ”个 个 体 , 则 
PrlRX; = AN 一 
显然 ,上 述 概率 函数 未 包含 8 的 任何 信息 , 亦 好 似 然 函 数 对 合计 #8 是 没 
用 的 . 然而 这 并 不 能 说 样本 不 包含 8 的 信息 ,事实 上 ,此 好 样本 确实 
包 会 了 #8 的 信息 , 璧 如 ,8 一 NN 就 是 8 的 一 个 不 铺 的 佑 计 ， 
例 2.34 设 姜 ,…,X 是 来 自己 (0 分 的 一 个 样本 . 则 
7 ={ 0 Xo TR, LH 
， 其 它 
显然 ,0 一 和 是 8 唯一 的 MLE, 然 而 直观 上 看 ,X 木 是 一 个 好 的 个 
计 : 因 为 PatXwH 达 扑 二 1; 六 wm 总 是 低估 8, 事实 上 ,我们 可 以 找到 一 个 
一 至 优 于 蕊 四 的 升 计 , 艾 如 ,如 果 以 均 方 误差 作 为 衡量 标准 , 则 的 


UMYUE 2 二 Lo 一 致 优 于 Xo (进一步 ,二 4Xo 在 形 如 aXw 的 合计 


中 均 方 误差 达到 最 小 ). 

本 例 也 说 明 , 极 大 似 热 犀 计 并 不 一 定 者 通过 求 导数 获得 . 

例 2.35 设 姜 1,… ,六 ,是 来 自 U(8,8 十 1) 的 一 个 样本 ， 
中， X CO— 1 LX 
10， 其 它 
因此 ,任意 … 个 介 于 六 (mw 一 1 与 六 山 之 间 的 数 都 是 ?的 一 个 MLE, 如 
着 om 一 1,X) 等 等 ,这 也 等 于 是 说 , 极 大 似 热 方法 未 能 唯一 确定 乡 的 点 
估计 . 

另外 ,从 统计 决策 理论 ( 见 第 五 章 }? 来 看 ,任何 统计 推断 都 应 依赖 损 
失 枉 数 , 而 极 大 似 然 方法 未 曾 考虑 到 损失 耳 数 ,难免 让 入 觉 得 不 满意 . 
综合 上 述 , 极 太 似 然 方 法 虽 有 一 直 优 良性 ,但 也 有 其 局 限 性 . | 


$2.6 ”最 小 二 乘 估计 


LD;ry} 二 


$2.5.1 晤 小 二 冬 居 计 
最 小 一 乘法 是 -一 种 常用 的 估计 方法 ,最 常见 于 线性 模型 .下 面 考虑 
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Gauss-JMarkov 模型 : 
EY = XB;:Var(F) = of, 
其 中 Y 为 nx1 维 观 测 向 量 , 素 为 已 知 的 nXpip 志 #1) 阶 设 计 和 矩阵,B 为 
PX1 维 林 知 参 数 .of 未知, 为 x 阶 单 位 阵 . 此 模型 也 称 为 独立 观测 线 
性 模型 ,通常 记 为 (了 ,天 月 ,cz )， 
为 佑 计 有 ,一般 采 用 最 小 二 乘法 . 
定 多 2.14 在 (了 ,Xp,ey)? 中 ,如 果 


(Y— XBY'(Y— XB ) = min(y — XB)'(Y — XP) (2. 36) 


则 称 B 办 训 的 最 小 二 腓 估 计 (Least Souares Estimate) ,简称 LSE. 
记 @( 户 二 (一 了 BD'(F 一 下 有 , 求 LSE 等 价 十 求 @( 且 的 最 小 慎 . 
利用 生 阵 求 导 ,有 
ay' NB BEXB ,,, 
下 = KF, ~ =— 2X'KB 
从 而 
2 =— 2x'Y + 2x'XB 
令 此 导数 等 于 浊 , 给 出 
天 "下 站 一 KY 《2. 37) 
这 就 是 所 谓 的 正规 方程 , 它 在 最 小 二 大 生计 理论 中 起 着 重要 作用 , 
简单 起 见 . 设 忒 是 列 满 秩 阵 , 则 正规 方程 (2. 37) 的 解 唯一 , 室 就 是 
用 的 LSE 
有 一 (XEY 1X'Y 《2. 38) 
显然 ,Bis 是 了 的 线性 函数 . 
定理 2.15 (1) 车 ECY) 二 XB, 则 (2.38) 术 给 出 的 Bs 是 B 的 无 仿 
情 计 . 
C2) 车 ECY) 一 XB VarC7) 一 021,,X 为 列 洲 黎 阵 , 则 (2. 38) 式 给 出 
的 有 的 方差 为 oCXX)-. 
证 明 ; G37 EBs 二 (XX) ECP) 一 Ci- XB=B 
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(2) 由 (1),Bis 是 B 的 无 偏 居 计 , 故 


VartB ss) = E(Bis— B) (Bs— AB) 
= 上 上 (天 在》 IR'Y — CXXY IX'EC(F)]: 
TR RY I — (XIX) EXEC)ITY 
= EAI AK EY — EOINY — ECYYTXCX' KX)! 
一 oY) EECEY) ! =— eo (HK ! 
证 毕 . 
例 2.36 设 某 因子 对 指标 > 有 线性 影响 关系 , 即 
3 一 六 十 有 rr 十 s， 
Ete) =0, VarCE) 一 0 
为 生计 B,,8., 取 因子 的 有 个 水 平 玉 rN, 进行 烛 测 ,得 到 的 
个 独立 观测 值 ,此 便 是 Gauss-Markov 模型 了 一 三 昌 上 E ,其 中 
, ,11 1 1， 
下 
1 
ela) 
易 知 ;只 要 之 的 nr 个 水 半 不 全 相同 ;X 为 列 满 牧 阵 . 不 准 算 出 


Ea 革 ; 
SX DX? 
, DX 2 X, 
(RE CO 二 
n> CX, CY 一 DX 4 
由 42.38) 式 ,8 一 (Bo,B.)' 的 LSE 为 
< ， DRY NY 
及 ce 一 sr Rl SA | Sar 
| 
ed x, -| RY NT — DX DY, 


Fo— XN — RY — FY] DN — Na 
Bix RY DD XN NY 


ul 


由 定理 2. 15 知 ,Bw 是 B 的 无 偏 估计 ;, 且 


4 2.6 荫 小 二 乘 估 计 " 137 


全 2 XY TT XX; 
Vartph 1s) 一 SC 二 一 之 之 
1 久生 ， 一 Xi DT, mn 
>, X 


: ,如果 在 起 验 条 件 人 允许 下 ,或 


由 Cov(pBB 一 一 < 
特别 ,Cov(B TS 


经 过 某 种 数据 变换 ,可 以 使 得 3 区, 一 0, 则 LSE 8, 与 8 不 相关 . 这 不 


仅 使 计算 简化 ,而 且 使 LSE 8 与 8, 间 的 干扰 减少 了 . 这 是 试验 设计 
专门 研究 的 内 容 , 此 处 从 上 略 . 


2,6.2 最 好 线性 无 偏 佑 计 


在 tF ,于 Bo 中, 若 半 列 满 牧 , 则 LSE 还 在 革 种 意 交 下 具有 最 优 
性 . 

定 光 2.15 车 合计 量 是 观测 值 的 线性 函数 , 则 称 它 为 线性 居 计 , 设 六 
是 参数 4 的 线性 无 偏 估 计 , 如 果 对 串 的 任意 一 个 线性 无 全 估计 ,有 

Varf8 ) > Var(@), 如 用 入 加 

则 声称 为 如 的 最 好 线性 无 偏 估 计 《Best Linear Unbiased Estimate )， 简 
称 BLLUE. 

如 果 如 是 大 维 向 量 参 数 ,BLUE 的 定义 是 类 和 伺 的 ,其 中 Vart8') 汪 
Vart 站 表示 War ) 一 Var( 人 办 是 非 负 定 阵 . 

让 定义 2.,15 的 标准 下 ,LSE 是 BLUE. 

定理 2.16 设 记 (FY) 一 五 B, Var( 了 7) 一 gz,,X 为 州 满 秩 阵 ; 则 LSE 
Bs 是 8 唯一 的 BLUE. 

证 明 ; 前 面 已 证 Bs 是 8 的 无 偏 估计 ,而 线性 是 灵 然 的 ,下 证 Bs 的 
方 赋 在 只 的 线性 元 偏 估计 类 中 是 最 小 的 . 设 y(tY) 一 AF 是 月 的 任 一 个 
线性 无 偏 鸽 计 , 则 应 有 有 

EAY}) = AE(F} = AXB= 8B, vBE Rr 

于 是 有 A 二 1,, 其 方差 为 


VartAF) = ELCAF — Byed Bis— PCAFT — Bi : Brio Br'I 
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= ECAY 一 BJC4E - Bo 二 Vart hs) - 
E[CAY — PicBs Py] FI PiAY Buy] 

又 因为 E(AY 一 Bs)=0;, 所 以 

E[ (AY — Bis} (Bs 一 二 中 

= CoviAY — Bs ,B's) 

Covi[A - CX'E)-IK' YF, CX'E) ‘XY) 

(Co YI CX YY KY 

一 (下 是 一 于 ' 丰 YA 一 站 

由 此 即 有 Var(AP) 半 Yar(B.s) ,和 且 等 号 成 立 的 充 要 条 件 是 EL(CAY 一 B 

(一 有 .3 一 0, 即 AY = Bissa. s. 证 明 完 成 . 


定理 2.17 在 (Y,XB,a1,) 中 , 若 旦 列 清 秩 , 则 Y aoE R?,w Bs 是 
a 只 --- 的 BLUE. 


证 明 ;a Bis 是 a 的 线性 无 访 估 计 是 显然 的 .其 最 优 住 可 以 仿照 
定理 2. 15 的 证 明 进 行 , 此 处 从 略 . 

在 倒 2. 36 中 ,由 定理 2.16,LSE Bs 是 的 BLUF. 所 定理 2.17， 
者 令 a= 01,0) 或 ge 二 (0,1), 则 8 和 8 分 别 是 羽 和 局 的 BLUE. 若 念 


a 一 (1 , 则 B, 上 Paze 还 是 局 十 Pzxo 的 BLUE. 这 些 性 质 都 表明 
LSE 基 -- 个 很 好 的 估计 . 

在 线性 模型 中 ,a 的 合计 也 是 一 个 重要 内 容 . 几 于 量 秽 的 关系 ,oa 
的 估计 不 可 能 用 样本 的 线性 函数 给 出 ,但 可 以 用 样本 的 二 次 函数 给 出 . 
为 此 ,; 称 


Re: = (YEBs) (FY— ¥B,) 
为 偏差 平方 和 , 它 就 是 (2.36) 式 中 目标 函数 Q(B) 的 最 小 值 , 即 司 一 


QCBws). 着 久 为 户 维 曾 满 秩 和 矩阵 , 册 可 以 证 明 
oo= Ri/Cn —— p) 2, 39) 
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是 a 的 无 偏 估计 ,其 证 明 留 给 读者 自己 进行 . 由 十 的 这 个 悄 计 是 厅 
于 的 LSE 导出 的 ,因而 也 常 将 之 称 为 的 ISE, 关 于 它 的 优良 性 可 
查阅 有 关 文 献 51. 

当 工 服从 正 态 分 布 时 ,上 述 TSE,BLUE 与 UMYVUE 重合 . 

定理 2.18 在 (了 ,于 ,oo1) 中 ,车 假定 了 ~ 和 N,(XB,o2I,) , 王 为 列 满 


黎 阵 , 则 (2.38) 式 中 的 Bis 和 (2.39) 式 中 的 6: 分 别 是 8B 和 的 
UMVUE. 另外 ,Y oeE R? ,or Bis 也 是 a 的 UMVUE. 
证 明 :Y,,…,Y, 的 联合 密度 函数 为 
pon syns bso) = ( Voxo) “exp {| — pilY — XP — xpB) } 
一 Qexp {BT TD + TF))} 


其 中 0 = — ,6. 一 点 TID EYY,T AF) = XY,Q(D=! 2ne) ” 
_1 
2 
统计 量 ,而 
Bis= (XENY = (XE)-'T,Y) 
1 
nn 
1 


— sr 2 Bt BisX'x Bs) 


* exXp'- 


Xp) XB|. 由 指数 族 性 质 知 了 (7) 和 了,(Y) 为 完备 充分 


(了 一 瑟 B OY Xb.) 


fF! 一 


一 5 — TAYF) (FE) TF)) 


这 表明 Bs 和 5 都 是 完备 充分 统计 量 的 函数 ,多 因 它们 分 别 是 有 和 到 
的 无 偏 估计 ,由 定理 2.3 知 ,Bis 和 5 分 别 是 8 和 0? 唯一 的 UMVUE. 


类 傣 可 证 of Bs 是 a8 的 UMVUE. 证 毕 . | 
以 上 讨论 均 根 定 廊 为 列 满 秩 阵 , 悄 针 不 是 列 满 秩 阵 , 也 有 相当 令 
人 满意 的 结论 中 1 


$3 2.6.3 加 权 最 小 二 乘 估计 
在 (Y,XXB,o1s) 中 ,如 果 条 件 Yar(Y) 一 oJ 不 满足 , 那 末 最 小 二 乘 
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估 讨 是 否 还 具有 上 述 BLUE 等 性 质 昵 ? 假如 不 具有 , 那 艾 如 何 疏 进 呢 ? 
下 面 我 们 就 讨论 这 个 问题 ， 

首先 指出 ,着 War{F) 二 oI 木 满 足 但 ECF}- 一 XB 成 立时 ;最 小 二 
乘法 仍然 可 以 使 用 ,算得 的 LSR(2. 38) 也 还 是 户 的 线性 无 偏 估计 ,这 是 
全 为 征用 最 小 二 乘法 和 无 偏 性 只 涉及 -- 阶 窍 ,并 木 需 要 二 阶 矩 具有 仁 
么 性 质 . 然而 ,BLUE 就 涉及 到 二 阶 矩 性 质 , 此 时 ,(2. 4348) 一 般 不 再 是 昌 
的 BLUE. 

在 CPF, 五 Bo) 中 ,如 果 将 条 件 Var 7) 二 a 政 为 WarC) 一 o2G 
好 为 已 知 正定 阵 , 则 形成 所 讽 的 广 浆 Gauss-Markov 模型 . 对 此 模型 ， 
因 G>0, 存 在 阶 非 奇异 对 称 阵 B88, 使 G=B?. 令 P 了 一 8 'F, 定 二 B81!X， 
则 


EF = B-IEY = BXA= Tp 
Var(F) = BVar(F)h ! = ol, 
由 此 ,( 祖 ,这 8B, ot1) 是 一 个 Gauss-Markov 模型 ,由 该 模 卉 得 到 的 LSE 
B = CTY EY = XG-IAY -EG 《2. 40) 
称 为 BB 的 如 羽 最 小 二 剧 居 计 , 由 定理 2.16, 它 其 8 的 BLUE. 
加 权 最 小 二 乘 居 计 应 用 很 广 , 尤 其 是 对 截 尾 样 本 . 


考虑 一 类 常用 的 位 置 -尺度 分 布 族 ， 其 分 布 函数 有 形式 严 | | ， 
密度 函数 有 形式 - 7 如 | ,其 中 jl -oo 之 pc) 称 为 位 置 参 数 ,o> 


0 称 为 尺度 参数 . 没 7，…,Y。 是 来 自 亚 | 2 人 | 的 -个 样本 ,PC(，) 为 


已 知 的 分 布 函 数 且 一 和 阶 矩 存在 .我 们 要 估计 上 和 fc>0). 对 某 些 不 
〈 艾 如 正 态 分 布 ?, 有 从 知 的 一 些 方 法 和 结果 . 此 处 我 们 悍 开 这 样 一 业 咎 
计 ，, 它 们 是 次 序 统计 量 的 线性 函数 ， 

设 了 之 …<To 为 观 谢 到 的 前 > 个 次 序 统计 量 , 令 X 一 (Yo 一 
ADAasi 一 1 py 刚 瑟 过 过 症 柑 当 于 扫 自 己 人 的 容量 为 和 的 前 > 
个 次 序 样 计 . 记 

EX;, = Aa. ?= lr 
人 DT = vi 有 
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其 中 避 ,wj 只 依赖 于 nx,r 和 下 而 与 ;6 无关 .由 于 
Y= oj 二 二 oa 十 & 
其 中 一 a(XX 一 00). 记 了 ' 一 {了 oy ;8 二 Coss), 用 矩阵 表 
示 , 有 
EY = 网 
a 


| VarlY} = oY = GE) 
其 中 下 表示 全 部 由 元 素 1 组 成 的 > 维 列 向 量 .这 是 广 广 Gauss- 
Markov 模型 ,利用 (2.40) 式 可 求 出 和 a 的 LUE 为 


LV eV OL 1, 
[= | jv- 
5 VI eV a) 'o! 
7 
会 |， C2.41) 
yy 


其 协 差 阵 为 


Var 


k Ve Vis 
[=| : | (2.42) 


他 ZTE roVi, 

该 竺 计 方法 有 一 个 明显 的 优点 :不 论 坟 个 样品 中 被 观测 到 的 样 遍 
个 数 是 多 少 ( 当 热 不 能 少 于 2), 上 述 过 程 均 可 类 似 进 行 . 该 性 质 使 得 它 
在 可 靠 性 中 有 着 广泛 的 应 用 ,局 如 ,当下 ty} 是 I 型 极 值 分 布 
1 一 exp1 一 exp{y)} 时 ,对 大 量 的 nn 和 +,(2,41) 式 中 的 系数 上 ,i 已 编制 
成 表 , 可 直接 查 用 ,这 使 得 该 居 计 方法 的 运用 更 显 方便 :1. 

例 2.37 Weibull 分 布 是 一 类 常见 的 产品 奉命 分 布 , 设 某 电 子 产 
品 的 寿命 全 服从 Weibull 分 布 ,其 分 布 函 数 为 

Pr( 了 < 二 四 二 1 一 exp{— (#) i> 0 

其 中 普 全 0 称 为 形状 参数 ,9>0 称 为 特征 寿命 . 

今 了 二 lnT; 则 YY 服从 I 型 极 值 分 布 , 其 分 布 明 数 为 

Fly) = Pr(¥ < yy) = 1— exp{l— exp: Cy — 10]} 

其 中 j= 二 1ln7,6 二 17m24p 和 = 分 别 是 极 值 分 布 的 位 置 参 数 和 尺度 参数 . 

为 了 对 产品 寿命 特征 进行 分 析 , 投 入 个 产 上 申 样 则 进行 寿命 试验 ， 
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当 有 r+ 个 样 间 失效 时 试验 停止 ,得 到 7 个 次 序 观 测 值 #0) 过 165 之 之 
tw， 相应 地 有 ycy 之 yy 之 之 yn 作 变 换 z= 一 W700; 则 zw 二 
xm 可 看 作为 来 自 标准 极 导 分布 1 一 exp {一 exp tx)} 的 容量 为 n 的 
样本 的 前 :个 次 序 观 测 值 . 显然 , 诸 蕊 (和 oo) 和 Coyi XXen) 1， 
"rr 只 与 a 和 和 +r 有关 , 碎 不 依赖 于 其 它 参 数 , 由 (2. 41) 式 ,可 写 出 和 
声 的 BLUE 

6 = Co, rN yO) 


i=1 


(2, 43) 


£= > Dr yD) (2, 44) 
其 中 Car 站 称 为 zx 的 最 好 线性 无 偏 估计 系数 ,站 (nr, 让 称 为 产 的 最 
好 线性 无 篇 估计 系数 .对 1 一 2,3，… ,25,r 一 2,3,2 和 71) 它 
们 的 值 可 在 文献 后 中 的 表 一 中 查 到 , 譬如 ,车 投 人 8 个 样品 试验 到 5 个 
样品 失效 时 试验 停止 ,记录 下 5 个 失效 时 间 to 二 …<tesy( 见 表 2.2)， 
册立 献 下 中 表 一 查 到 诸 Ctn,r, 冰 和 了 (xyr; 门 ;由 (2.43),(2.44) 式 可 
计算 a 和 的 BLUE( 见 表 2. 2 为 f = 二 1.4611, 一 4.5154. 


表 2.2 极 值 分 布 中 参数 的 BLUE 计算 了 绢 (x 一 8,7r 一 5》 


5 Yn =lnte, 


人 fr 


[Cn or A) yop 


Din.r,i) 上 car yo 


0D. 9163 


一 0. 2172 


—0.1990 


—0. O781 


一 站 .0715 


,0149 


— 0. 2128 | 


--D. 4288 | 


一 生生 和 7 村 


一 各 0955 


0. 1803 


“0. 5108 


-一 人 O001 


一 站 0003 


—0. 1225 


—0. 4649 


DO. DH37 


0. 2418 


D0. 7328 


3. O646 


1. O619 


1- 4611 
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$2.7 同 变 估计 


8 2.7.1 有 偏 估计 


在 2.1 节 中 我 们 已 指出 , 均 方 误差 是 评价 -- 个 点 佑 计 好 坏 的 常用 
标准 ,市 使 均 方 误差 一 致 达到 最 小 的 点 悄 计 是 不 存在 的 ,于 是 ,人 们 考 
嘎 在 某 些 估计 类 中 寻 抠 合 均 方 误差 达到 最 小 的 点 估计 ,无 俯 估 计 是 一 
类 最 常用 的 点 估计 . 然而 ,必须 指出 ,从 均 方 误差 角度 来 看 ,无 篇 估计 并 
不 一 定 就 好 . 假设 如 X) 是 8 的 无 仿 估 计 , 现 考虑 形 如 z8(E) 的 佑 计 ，a 
>0 是 常数 . 除非 < 一 1,ag(X) 是 有 仿 估 计 . 


MSE cad X))= Etadtx) 一 的 ? 
= aEQX) OOo AND 十 (1 a 
由 简单 的 求 导 知 , 妆 
a = F/G Var(d)) (C2.45) 
时 , 均 方 误差 达 最 小 . 当然 ,2. 45) 式 中 的 a 可 能 依赖 于 8,a6( 义 ) 不 一 
定 能 作为 估计 ,但 由 此 我 们 也 可 看 出 ,可 能 存在 一 个 估计 , 它 的 均 方 误 
差 比 无 慷 估 计 的 均 方 误差 -- 致 地 小 . 

例 2.38 设 和 ，… 是 来 自 Co 的 一 个 样本 ，, 现 要 个 计 十 ， 
我 们 知道 其 UMVYUE 是 (2. 介 式 的 豆 , 玉 是 of 的 巨 妨 生计 类 中 使 均 方 
误差 达到 最 小 的 . 现 考 虑 形 如 as: 的 估计 ,由 于 

Var(s:) 一 2a4A 一 1) 
由 (2.45) 式 知 , 使 均 方 误差 达 最 小 的 a 是 
a= (otoD): + 2a/n — D1= tn - /n+ 1) 


此 时 ,as 一 | 2 1( 记 一 六 ?公关 ,可 验算 


20° We 
i411 


由 此 , 存 均 方 误差 意义 下 ,有 一 个 只 的 有 偏 居 计 , 它 比 所 有 的 无 篇 估 


MSE (or) = 


一 MSE Cs?) 
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计 都 来 得 好 . 
位 置 -尺度 分 布 族 天 | 是 一 类 常见 的 分 布 族 ,z 和 口 的 一 个 党 
用 估计 是 ELGE ,我 们 在 本 节 最 后 将 指出 ,在 均 方 误差 的 意义 下 ,最 好 
线性 同 变 估计 将 优 于 BLUE. 下 面 首先 介绍 同 变 估计 . 
$2.7.2 同 变 估计 


在 一 些 参数 估计 问题 中 ,要 求 寻 拢 的 何 计 量 在 样本 作 某 种 特定 变 
换 于 保持 某 种 统计 性质 是 很 自然 的 . 辟 如 , 若 对 随 册 变量 和 作 一 个 位 
称 变 换 : 习 + 区 十 c, 国 


Et 多 十 c) 二 (CX) 二 ec 
VertX + c) = Varti) 
现 设 有 半 的 4 个 独立 观测 值 下，…,XX.， 如 果 用 x(X，,…, 尖 ,和 
0I2《Xi ,站 ,分 别人 居 计 X 的 均值 和 方差 ,自然 地 叮 要 求 
AOKI 十 Cry 十) = (RI 二 
PEK 二 ersR, 二 c= 6 生生 
这 种 要 求 是 合理 的 ,也 是 符合 人 们 的 实践 经 验 的 . 对 样本 作 一 个 位 移 变 
换 相 当 于 改变 计算 原点 ,改变 前 后 的 数学 期 望 的 估计 值 应 侈 相差 一 个 
位 殉 量 ,而 方 莽 估计 值 则 不 应 有 任何 变化 ,假如 我 们 在 选择 估计 量 时 不 
考虑 这 些 要 求 , 有 时 会 觉得 不 自然 ,不 合理 . 满足 这 些 站 求 的 全 计量 就 
称 为 位 移 变 换 下 的 同 变 估计 . 比如 ,样本 均值 不 和 样本 方差 5 在 位 称 
变换 下 分 别 是 总 体 均 信和 总 体 方差 的 同 变 千 计 . 
最 然 ,- -个 估计 量 是否 是 同 变 佑 计 取 决 于 采用 什么 变换 .除了 上 土 述 
位 移 变 摸 以 外 , 常 考 虑 的 变 摸 还 有 尺度 变换 和 各 线性 变换 , 若 对 随机 变量 
下 作 一 个 尽 境 变换 ;一 a 对 ,a>0 为 常数 , 因 
ElaX) = aE{(X), VartaX) = oarVar(X) 
于 是, 在 尺度 变换 下 ,总 栖 均值 & 和 总 体 标 准 差 og 的 问 变 估计 应 满足 
pa sa, ) = au( Ky KN,) 
6 aX aX) = oF CK XK,) 
又 如 ,考虑 线性 变换 :XexX 十 c, 其 中 se>0 和 上 c 是 常数 ,由 数学 期 望 和 
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方差 的 性 质 可 知 ,线性 变换 下 总 体 均值 上 和 标准 闫 ec 的 同 变 佑 计 应 满 
足 
PI 
人 oR emaX, Fe)= a (人 

容易 看 出 ,在 线性 变换 下 ,样本 均值 和 样本 方差 分 别 是 总 体 均值 和 方差 
的 厨 变 桔 计 ， 

综合 上 述 , 我 们 可 以 给 出 同 变 估 计 的 撒 述 忻 定 义 , 其 严格 定义 需 由 
变 措 群 利 统计 决策 问题 进行 ,可 查阅 有 关 文 献 ". 

定义 2.16 设 BX ,XY,) 是 的 一 个 个 计 量 ,如果 在 样本 和 作 革 
种 特定 变换 下 ,估计 量 86 基 有 某 种 和 相应 的 性 质 , 则 称 86 是 在 该 变换 下 8 
的 同 变 知 计 . 在 变换 明确 无 误 时 ;简称 同 变 合计. 

加 变性 与 泡 偏 性 是 对 估计 提出 韵 两 个 不 同 的 要 求 . 无 候 性 只 有 在 
多 次 重复 使 用 下 才 有 意义 ,而 间 变 性 是 估计 在 每 次 使 用 寺 都 应 具 和 押 的 
性 质 . 有 些 同 变 估 计 是 无 仿 的 ,但 也 有 不 少 同 变 佑 计 不 具备 无 嵩 性 . 事 
实 上 ,有 些 有 偏 的 同 变 估计 在 均 上 方 误差 的 意义 下 优 于 无 篇 估计 . 

和 在 笃定 一 类 变换 后 , 同 变 情 计 往 往 也 不 正 一 个 .譬如 ,在 位 移 变 换 
下 ,样本 均值 下 和 和 样本 中 位 数 mo 都 是 总 伍 询 值 的 同 变 佑 计 . 因此 ,在 
同 变 估计 中 也 有 一 个 如 和 何 选择 的 问题 .常用 的 选择 标准 是 均 方 误差 . 
定义 2.17 设 日 是 某 特定 变换 下 8 的 一 个 同 变 傅 计 , 如 果 对 8 的 
任 一 个 此 种 变换 下 的 局 变 知 计 人 ,有 

MISEo( 的 & MSE DD), YE 

则 | 称 5 是 此 种 变换 下 8 的 最 优 同 变 估 计 . 在 变换 明确 无 误 时 ,简称 六 是 
8 的 晤 优 同 变 估 订 . 

下 面 我 们 结合 前 面 介 绍 的 三 类 变 摸 讨论 最 优 同 章 估 计 . 

$2.7.3 位 置 参数 的 问 变 估计 

设 RL 民有 是 来 自分 布 密度 活 数 为 了 (一 分 的 一 个 样本 ,其 中 
f(*) 己 知 ,0ER 是 一 个 未 知 的 位 置 参数 . 假如 8 一 BX ,1X,) 蜂 


的 位 移 普 棉 下 的 同 变 估计 , 则 对 任意 实数 c, 应 有 
| BR eros KR, ey = BOK, ,Kye C2,46) 
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令 c 二 一: 多., 即 有 
BEN, RE) = OR CO 十 并 | 
记 了 二 《Xs 一 四 /04X, 一 况 ) ,上 式 可 以 写成 - 
HX, = ,二 RY) 《2. 47) 
这 和 便 是 8 的 同 变 御 计 的 一 般 形 式 ,; 而 寻找 最 优 同 空 估计 就 是 要 寻找 
ht，) 使 得 C2,47}) 式 的 的 均 方 误差 达到 最 小 . 
易 见 ,站 ,一 各 有 tY) 的 分 布 均 与 8 无 关 ,- 故 有 
MSE(X + ARCOYYY = EylX, + ROY) 一 人) 
一 Eo Xi + RCYYY? 
= Fo X, — ERINY) + EXPY 十 让 ( 下 下 
= ECR — EXR) + EC(E( XY) + hCYYY: (2.48) 
其 中 交 驴 乘积 项 
ECR, — EoCX)L IY ECH YD 十 下 Cr) ， 
= E,{Eol (X), — E, CX YY CE CX YD) + RACYY) 天] 
= Ed (EcCRIY)Y 十 (DEC — EN: ,YY) | TD} 
一 站 
由 (2.48) 知 , 当 上 (了 ) 二 一 EoCXi|Y 了 时 均 方 误差 达到 胡 小 . 由 此 给 出 8 
的 最 优 同 变 估计 为 | 
B* = KX 一 EX 一 Xi OR (2, 49) 
佑 计 (2.49? 最 时 由 了 .JPitman 第 出 ,因而 也 称 为 Pitman 估计 . 
不 难 证 明 , Pitman 估计 是 无 偏 的 . 事实 上 , 因 个 是 同 变 居 计 ,满足 
(2, 4 人 ) 式 , 取 c 二 一 8, 有 
BO* CRO— ,R= KR) 一旦 
于 是 
EstB’: -- 的 


| 


Ed" (一 OX, — 0) 
= Ed" CX ,er ,NK,) 
= EX ~ Eo(EoCXi Xs 一 Ri X11)) 
一 0 
Pitman 估计 有 一 些 好 的 性 质 , 比 如 ,在 均 方 谋 差 意 义 下 , 找 不 到 一 个 一 
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致 优 于 它 的 估计 ,关于 Pitman 估计 的 性 质 参 所有 关 文 献 C. 
〈2. 49) 式 给 出 了 Pitman 估计 的 一 般 形式 , 进 -- 步 ,我 们 可 以 算出 
其 具体 表达 式 . 由 于 在 8=0 时 ;CX 太一 了 zx, ,zy), 作 变换 ; 
二天 Jacobi 行列 式 |7| 一 1; 于 是 , (Yl， 
在 给 定 ?一 (下 ,YY 的 条 
忻 密 购 明 数 为 
plyly) 


= fy ya 0) [7 0%% 十 Yar 十 Ya) dy 
于 是 


jf 十 Yas""* yy1 十 ald yr 
EC 二 OQ 
Fy yar + yo dy 


] 


上 碎 而 


p) 1 Jaf 十 Ye Fy] 十 ydy, 


| ze sl 十 Yas" yl 十 Ya dy 
进一步 , 作 变 换 y, 王 x1--9, 则 可 将 上 式 瑟 写 为 


|e 一 加) Fn 1 十 ya 十 yd yi 


Jf 1 十 Ya dy 


{arcx, — Burs, 一 有 dB 


i C2. 50) 
[fr — Be xs — Pde 
在 利用 (2. 50) 式 求 9 的 Pitman 信 计 时 ,必须 注意 积分 限 的 确定 ， 
它 蚌 由 密度 攀 歼 的 县 体形 式 快 定 的 . 
例 2.39 (1) 没 X,,…,X, 是 来 自 密度 函数 为 f(x 一 9) 一 e- “9 
Tsar: 的 分 布 的 一 个 样本 ,此 处 如 是 一 个 位 置 例 数 , 由 (2.50) 式 ,9 的 
Pitman 情 计 汶 
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A — Oflr, — dO 
pre 一 Da — 0)d0 
| Gexp{n0 — > nr) dg 
Fe Beja 


1 1 
expinX,} 一 exp {AX es 


1 
A exp ia 人 oo》 


1 
= Xu 二 


{2) 设 XXX 是 来 自 均 匀 分 布 UC0,8 十 1) 的 -个 样本 ,此 处 8 
是 一 个 位 置 参 数 , 了 (7 一 站 二 Twoc_ocp, 由 (2.50) 式 ,的 Pitman 帖 计 
为 
,J — Oy f tr, — Od 
fe ~ 0) fC, — 098 
| ” gag 
Xi - 
Fo 
| dg 
Kel 


一 部 (Xe 十 Xn 一 1) 


《3) 设 有 是 来 自 N00) 的 一 个 样本 ,o>0 已 知 ,8 是 位 
置 参 数 ,f(x 一 0)== (Zro')- exp| 一 55(z 一 9?| 由 C2.50) 式 ,8 的 


Pitman 息 计 为 
] Na 1 
一 2 M Cs; — Ba): i 


i™l 


二 Gexp 


~ 1 
| exp{— zi2 (Ti 9): id 


8— 
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上 gexp| 一 2m CX 一 0 84 


[exp | 一 a (i ja 


$2.7.4 尺度 变换 下 的 同 变 佑 计 

下 面 我 们 考察 尺度 变换 下 的 同 变 佑 计 . 设 X11,… ,XX, 是 来 自 密度 
函 孝 为 十 川 三 | ,>> 0va>0 的 一 个 样本 ,其 中 /(，) 已 知 ,o 是 未 知 的 
尺度 参数 .假如 8 一 9 (Xi …，X) 是 的 一 个 尺度 变换 下 的 同 变 知 


计 , 则 对 任意 的 a>0, 应 有 
了 【ay 一 ag (A 


, | RE,. 
令 < 一 元 , 记 Y 一 | 天 全] , 则 有 


OG Kis Ks) = HAOYY 
~ XX 
其 中 A(Y)=g CIAXn Xs1). 由 于 一 和 有 (Y) 的 分 布 均 与 a 
无 关 , 故 
12 
EXhOYY 一 0 GE 二 7) 一 1 


1 


= gE (XACY) 一 1): 
寻找 最 优 同 变 估计 等 价 于 找 有 (- ) ,使 E1(XhCOY) 一 1)* 达 最 小 .在 a= 
1 时 ,X57 一 ftzi0… za) s 作 变换 :Y, 二 冠 1 二 1,… nn 一 1Y, 二 
流 , ,其 Jacobi 行列 式 | 了 | 三 只， 故 


CY 四 ~ Fo 9 站 np 一 1.9n yn 
在 给 定 y 二 Cy vy-1) 下 ,Y, 的 条 件 分 布 密 度 冰 数 为 


] 
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yf ly ya Ye Yn Ve) 


| TF OV Ya Ya a dy, 


从 而 


|a 一 AO YT fy YY dy, 


[x Lf Cy Ye Yn ys yy 
如 果 及 Cy) 使 记 [ 上 1 一 RC90)°|yj] 达 最 小 , 它 必 然 也 使 Ei(l 一 XCY》》 
达 最 小 . 令 rr ty 有) 一 la — yy fy Ye dy My, 
有 关于 点 连续 ,车 积分 与 求 导 可 交换 次 序 , 则 有 
S/W = 2 | hy) — Df yrs yy, ye ydy, 
令 六 / 弛 二 0, 推 出 


| ro We 


hty) 一 
| fy ys, Ye Le Ys dy 


它 使 rCy'8) 达 最 小 , 亦 即 使 EL 一 XX,hty))|yj] 达 最 小 . 由 此 给 出 so 
的 最 优 同 变 佑 计 为 


zf lyr sa dz 
BB ! (f(y Ee Ya de 


二 


全 二 


zz fo fr or Ts OT TG “do . 
一 人 
fe, Jet AT AGE -sdo 


js mr fr /Gs ee ss /os xn/0)de 
{2,51) 
je tn fl ar /or yoyde 


例 2.40 (1) 设 XX,,…,X, 是 来 自 密度 函数 为 二 Fr/ 人 ) 一 二 ee， 
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xz0 的 指数 分 布 的 一 个 样本 ,8g>0 是 尺度 参数 ,Ferry 的 一 ez 记 人 
一 >) ”Xi 由 (2.51) 式 ,尺度 变换 下 8 的 最 优 问 变 估计 为 
re 所 | we To do 
?= 和 一 | 
— int a 
[9- etverhdg | 


二 

四 TT 
gt To de 
[eu 


Pin DT i 了 


Ta 2T wD nl 
《2) 设 瑟瑟 是 来 自 均 名 分 布 (0,8) 的 一 个 样本 ,>0 是 尺 
度 参 数 , zy 一 Tocuec 由 (2.51) 式 ,8 的 最 优 问 蛮 估计 为 


|- a "ds 
一 Xn 如 十 之 


|- g-=+uqg 二 1" 
x 


Tey 


8 


全 2.41 设 Xirt, 芝 ,是 来 自 入 (0,0) 的 一 个 样本 , 因 Xi;E 
《- ec) 不 能 直接 用 (2.51) 式 ,但 可 作 变 换 了 了 -- >, 形 , 于 是 了 一 
Ga | | . 
《1) 姐 果 我 们 要 估计 参数 于 , 因 了 工 的 密度 两 数 为 
pit:0) 一 (20) Ele Tn /2) 
= Lb2-"| 记 ] et/r en/2) 
'o 
由 C2.51) ;尺度 变换 下 的 最 优 同 变 估 计 为 


ny f m2—l _11 
| 二 e 3rdz 
~ 4 
太一 二 


be, 上 ny/3 一 1 
| + 到 
an 


[3 11 
| 这 一 2 加 之 


2 一 1 


一 了 工 
e "dz 


定 
0 


到 I 
| te 3rde 
业 


站 wareiog-rag 


一 总 一 ( 令 z 二 1/ 四 
| prie— Hg-ad0 
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加 £ SS 
f+ 外 
EE 


r| 多 十 ?| a 


{2) 如 果 我 们 要 情 计 参数 gg, 记 3 人 S 二 YT, 则 可 求 出 5 的 密 典 肖 数 


为 
[2 Tn/2)T | | ea 本 
由 (C2. 51) ,尺度 变换 二 ao 的 最 优 辐 变 和 居 计 为 


fe | 5) ei #) de 


| ed 
os 
2 


je i lg-sdg 
人 3 < 一 一 ( 令 g 二 了 1) 


§ 2.7.5 最 好 线性 同 变 估 计 


考虑 一 类 常见 的 位 党 一 尺度 分 布 族 ,其 密度 西数 为 /| 于 34|， 
下 (，) 忆 知 ,xER 是 位 置 参数 ,o>0 是 尺度 参数 .对 此 分 布 族 ,在 线性 
变换 下 ,寻求 六 和 的 同 变 和 估计 可 类 似 前 两 小 节 的 方法 进行 ,这 里 我 们 
奴 限 于 在 线性 估计 类 中 寻找 最 好 同 变 估 计 . 

定 兴 2.18 设 及 ,… ,XX, 是 来 自 某 分 布 的 一 个 样本 ,如 果 参 数 8 
的 估计 疡 =6CX，…,X.) 是 样本 的 线性 函数 , 且 和 是 9 在 某 特 定 变换 下 
的 局 变 全 计 , 则 称 了 是 (该 变换 下 8 的 线性 同 变 和 估计 . 假如 对 和 任 一 线 
性 局 姿 情 计 引 ,还 有 
| MSE < MSE 的 ， VER 
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则 称 8 是 #8 的 最 好 线性 同 变 估计 (Best Linear Invariant Estimate), 简 
称 BLIE. 


设 X,,…,X, 是 来 自 密度 丙 数 为 二 f| 4 的 一 个 样本 , 记 8 一 


Dg 十 lz0; 我 们 要 估计 和 假如 = 十 二 p(X 部,) 十 
lo ( 玉 .,,X,) 是 8 的 线性 变换 下 的 线性 同 变 估 计 , 则 对 任意 的 a>>0 
和 任意 的 cy 应 有 
KaR + ca 十 让) 一 ac) 十 < 

o (ae 十 cyaX 十 5 一 a 《号 
从 而 

EeeX 十 co。 十 5) 一 过 (TXT 十 De (2.52) 

我 们 在 2.5 节 的 最 后 部 分 已 经 介绍 过 关 和 ca 的 BLUE, 令 关 和 o 

分 别 表示 电 (2. 41) 式 给 出 的 x 和 og 的 BLUE, 其 协 差 阵 由 (2. 423 式 给 


出 , 记 为 
“| 4 3| 
一 好 
如” B CC: 
在 (2.52) 式 中 取 n=1/o' ,c= 二 一 "1/0" 则 有 
POR, RG — pa/o" 
= BN Oo po sn, (KR /a ) 


记 玉 =hCp 0" 六) 一 200 一 上 ) fo vr,(K, 一 py*)jo*), 得 到 #8 的 一 
般 形 式 : 


= DA ke 
其 均 方 误差 为 
Ec — = Ep + ho — tp — log)? 
= Eo — oh thi + ho to 
=—hi Varto ) iiVarte’ ) Ch oi/ 0: 十 287CovfAa ,o") 
= oCh? 十 A Ch Cob) 2AB] 
将 上 式 对 访 求 导 并 令 导 数 等 于 0 可 知 , 当 == (一 人 1.B)/ (i 十 CC) 时 
MSE(&D) 达 最 小 ,从 而 给 出 日 的 BLIE 为 
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liB, 
T 十 已? 
这 是 8 的 有 偏 和 估计 ,其 均 方 误差 比 8 的 BLUE8" 二 ix 一 4 的 均 方 误 
差 要 小 ， 
特别 , 苦 分 别 取 二 0,7; 二 1] 和 上 刀 = 二 138; 一 0; 则 分 别 纵 出 ss 和 户 的 
BLIE 为 


0= he 十 


{2.53) 


J 


基 


， B 
TFC FT# Ite 
例 2. 42 设 (下 之 六 wy 是 来 自 I 型 极 值 分 布 Ftx) 一 1 一 
exp{ 一 exp[ (x 一 /oo]} 的 容量 为 n 的 样本 的 前 7 个 次 序 观 测 值 ,在 询 
2. 37 中 ,我 们 给 出 了 oc 和 的 BLUE( 见 (2.43) 和 (2.44)) ,其 协 差 阵 
由 (2.42}) 式 给 出 , 易 风 ;在 nx 和 vr 给 定 下 ,A,B,yC 均 上 = 天 无 英 , 谨 
《2. 54) 式 可 写 出 oo 和 上 疡 的 BLIE 为 


(2.54) 


o 一 CrCasr 门 时 mn， 了 一 SDitn rd {2 55) 
1 j=1 


1 
1+C 


Dyasr ;让 二 二 GD G47 站 一 了 守 GC (ns7, 让 车 为 rz 的 最 好 线性 间 变 
合计 系数 .它们 的 值 可 在 文献 中 中 表 一 查 到 . 警 如 ,利用 表 2.2 中 的 数 
据 ,在 文献 中 中 表 一 中 查 到 诸 Crtasr, 站 和 Dilnyr,j); 由 (2.55) 式 可 
计算 出 = 和 上 的 BILLIE 为 5 一 1.2122，2 一 4. 4114( 兄 表 2. 3). 


表 2.3 极 值 分 布 中 参数 的 BLIE 计算 说 in 一 8,r 一 5) 


Cn) | 让 (| Dtnsrspy Dinsrs DX 
一 0.1802 . ,0627 
一 0. 1765 . .0322 
—0.1496 . ,0128 
二 0. 1016 、 .0724 | 
0. 6079 . .0097 


其 中 ,Citn:r,7) 二 Ceasry 门 称 为 可 的 最 好 线性 问 变 估计 芭 数 ， 
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习 题 二 


2.1 谱 郊 ,独立 同 分 布 , 其 共同 的 密度 蚂 数 为 
六 (ri 一 3 Oxr<O, ~0 

Gy) 证 明 Ti 一 二 (zi 二 za) 和 Ts 一 二 max(nyzz) 都 是 0 的 无 偏 佑 
计 ; 

(2) 计算 了 和 了: 的 均 方 误 善 并 进行 比较 ; 

(3) 证 明 : 在 均 方 误差 意义 下 ,在 形 如 二 二 cemax(xzi,x2) 的 估计 中 ， 
0 最 优 . 

2.2 设 六 ,XX; 独立 同 分布 ,其 共同 密度 王 数 为 
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px) = hr- 0 90， £2 已 知 . 
GD 证 明了 二 和 3 Cxr 十 zr) 和 了 ,二 的 Fmin(.e,.xo) 都 是 8 的 无 
偏 估 计 ; 
(2) 计算 工 , 和 了 的 均 方 误差 并 进行 比较 ; 
(3) 证 明 :在 均 方 误 善意 义 下 ,在 形 如 工 .一 cminkziyz) 的 估计 中 ， 
c 一 绽 二 ?时 最 优 ; 
《4) 如 果 1<Ess2, 删 了 :的 方差 为 无 穷 大 而 工 ; 的 方差 有 限 ; 如 果 
让 二 1;: 你 用 什么 合计 ? 
2.3 设 2E (ta.5) ,TC(XK) 是 8 的 无 情人 和 估计, 令 
Tr), dT 
SCr) -人 人 < a 
五 ， T(x) pb 
证 明 :EC(SCX) 一 站 ?EE(T(X) 一 站 2. 
2.4 《Jackknife) 设 冻 : ,XN, 十 来 自 某 分 布 的 一 个 样本 ,7T 一 
了 (和 是 参数 &( 的 的 属 计 ,并 设 


ET, — g(0) = a/rl 
r=l 


ar 可 以 是 8 的 函数 . 记 了 2 表示 用 日 除 民 后 容量 为 x .1 的 剩余 样本 
以 同样 方法 得 到 的 8 的 估计 ， 


T= 1 YT, 
=l 


一 到 
了 一 mr 一 人 一] 了 
证 明 :ET', 一 g(0) 一 On ')》, 这 表明 了 T' 的 偏差 比 T, 低 了 一 阶 ， 
T', 称 为 由 了. 得 到 的 一 步 Jackknife 估计. 类似 地 ,可 络 出 二 步 , 三 步 
Jackknife 履 计 . 
2.5 设 芝 |,"…', 太 , 是 来 自 刀 (1,0),8€E (0,1) 的 样本 ,对 g( 引 = 颁 ， 
一 个 直观 估计 是 


T,(X) = LD x? 
7=1 
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试用 Jackknife 方法 对 了, 进行 成 偏 . 
2.6 设 记 是 如 的 估计 量 , 证 明 : 若 macce 时 ,ED 一 2,Var( 和 ) 一 0， 
则 也 是 4 的 相合 估计 . 
2.7 | 独立 同 分 布 ;EX, 一 上 VartXi<eo 证 明 : 关 一 
0 > tA 是 A 的 相合 估计 ， 
2.8 设 下 1,,*…' ,XX 是 来 自 C0 ,nA) 的 一 个 样本 ， 
1) 证 明 A- 及 wy 的 分 布 收 训 于 Exp(t0; 
‘2) 用 (1) 中 结果 给 遇 4 的 一 个 相合 人 秸 计 . 
2.9 设 5 蕊 ， CX, 了) 为 独立 同 分 布 的 二 元 正 恋 变量 ,EX， 
~EY =0,VarX= VarYTl=1,Cov(tX YY)=p. 记 
] «ys — 1 -— 1 3 
5 一 二 2 5 一 二 DXY,, S, = oY 


01) 证明 GS 一 115 psS TD >N;C0, 双 ,其 中 
2 
E= |2p 11+F 2 
2P 2p 2 
(2) 令 1 一 Si,/VSw5w, 求 VN (Cr 一 p) 的 产 近 分 布 . 
2.10 设 玉 /,…… ,总 是 来 自 8(1; 六 ,8E8 的 一 个 样本 . 
(1) 证 明 : 若 @ 的 元 素 超 过 4 个 ; 则 SCx) 二 > ,zi 是 8 的 完备 
充分 统计 量 ， 
(2) 证 明 ; 机 会 比率 9 (1 一 全 是 不 可 估 的 . 
2.11 设 XX，*…* ,及 ,是 来 自 均值 为 六 方差 为 吴 的 分 布 的 一 个 样 
本 ,pse: 均 款 知 , 考 虑 点 的 线性 估计 类 
2 一 TO) TO) 一 了 cr 
(1) 证 明 :T(z)? 为 8 的 无 偏 估计 的 充 要 条 件 是 yc; 一 1 
27 证 明 : 束 在 线性 无 偏 佑 讨 类 中 方差 一 至 达到 最 小 ， 


2. 12 ” 考 意 如 下 离散 型 的 均匀 分 布 Pi(X 一 门 一 万 :18. 记 
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P={Ps.9=1,2.}. 
(1) 试 证 :加 是 完备 的 ; 
(2) 试 状 8 的 UMVUE6; 
3) 国定 某 正 整数 和. 令 加 一 他 -- (Pi), 并 证 :74 是 不 完备 的 ; 
(4) 试 让 对 52200 不 是 8 的 UMVYUE. 
2.13 考 岂 震级 涩 分 布 的 参数 合计 问题 . 设 XX,.…' .XX. 是 来 自 


? 一 -一 = 一 9 
Prtx = 了) FI Coe 十 1 ， 《2 56) 


的 一 个 样本 , 令 了 一 > ,zi 
《1) 证 明 : 工 是 8 的 完备 充分 统计 量 , 且 工 的 分 布 仍 具 (2. 56) 形 式 


Pr 一 全 一 Fp? f= ncn lo ,oo 


2) 证明 六 的 UMYUE 是 
> D0, 了 < 
bb, tr 
3) 征明 ; 若 区 的 取 慎 范 围 有 限 , 则 (1) ,<2) 中 的 结论 不 再 正确 . 
2,14 设 其 1,… ,学 , 是 来 自 和 N(9,1) 的 一 个 样本 . 令 g(90)= Pr(X， 
扫 0) , 试 求 g( 办 的 UMVUE. 
2.15 设 久 )，"… XX, 是 来 自 对 数 正 态 分 布 LV) 的 一 个 样本 ， 
试 求 均值 EX, 的 UMYVYUE. 
2,.16 (1) 设 革 一 pC; 的 = 二 XO 站 ,0 之 x6.8 是 未 知 和 参数 ， 
彤 C0) 0 Fr0, 证 明 , 著 了 (XX) 是 g(9) 的 无 偏 悄 计 , 则 
— TO = (gOAOR CX) pKRIRCOROY I /TX) 
《2) 设 苹 1,…* ,XX 是 来 自 性 } 中 分 布 的 一 个 样本 . 则 gt9) 的 唯一 的 
UMVUE 为 
EB CK) RCN.L,) 
EE FON.,) 
类似 好 可 讨论 zz 人 一 .Freeszs 如 的 情形 . 
2.17 设 习 Xi ,六 ,服从 x 十 1 元 正 态 分 布 ,Ti EFEX, 一 0,i 一 0， 


lsh, 


了 《一 下 [ 有 0 
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go f=j 


pa, 1AJ 

(1) 证 明 :Xo.XX1,"…, 广 ,的 联合 分 布 是 指数 族 , 并 求 (Lea* ,Pp) 的 完备 
充分 统计 量 ， 

(2) 求 到 和 pa 的 UMVUE， 

‘提示: 令 表示 全 部 元 素 由 1 组 成 的 矩阵 ,验证 tal 十 4J) !==cl 
十 Ce 尖 0.》 

2.18 《1) 说 了 (Cz) 是 Et) 的 无 篇 估计 ,VarCT (CE)D<<ce- 证明， 
T(zD 为 g (外 的 UMYUE 的 充 变 条 忻 是 ,对 和 任 一 0 的 无 仿 居 计 愉 xz)， 若 
Var{g( I}<o0, 则 Cov (p(X) ,TO(X)) =0; 

(2) 试 用 (1)? 的 结论 证 明 ,车 六，…，X, 是 来 自生 (mo2) 的 一 个 样 
本 , 则 这 和 品 分 别 是 上 和 于 的 UMVUE. {提示 :对 0 的 任 一 无 仿 估 
计 4, 对 ET 一 0 的 运算 式 求 导 .) 

2,19 设 半 的 概率 分 布 为 

Pi 已 位 的 8 € (0,1) 
全 (1 一 有 232， 下 一 D0,1. 

C1) 找 出 0 的 无 偏 箔 计 类 Ui,; . 

《2)? 证 明 如 有 无 偏 估 计 但 其 UMYUE 不 存在 , 这 表明 ,该 分 布 族 没 
有 完备 充分 统计 基 ; 

(3) 令 SO 的 一 (1 一 的 ?证明 g (四) 的 UMYUE 存在 . 

2.20 设 了 T(z) 是 g( 旭 的 UMYUE, 对 g( 站 的 任 一 无 篇 居 计 
才 (z) 证明 : 若 Var 让 (Eco 网 Cov(T 8)S20 且 记 也 为 g (9) 的 
UMYUE 的 充 要 条 件 是 TKz) 与 立 Cz)? 的 相关 系数 等 于 1 

2.21 证 明 : 若 了 :CE Ta 分 别 是 Bio gs 的 的 QUMVUE , 则 
了 CXD) 十 TXT) 是 GEiOITESasCD 的 UMYVUE. 

2.22 设 了 (和 ) 是 BC 的 UMVUE ,TOTET 县 War(T,) 一 
下 VartT ,zi 一],2,; 可 与 #8 有关. 记 

CoveT Ts,) 1 . 
PT CVarT I VatT JJ 
证 目 ; 


CovCX,,X)) 一 1 F011<pA1. 
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(aa 2 一 [0 一 ef 一 区 三 
(ae) 二 [all a 
特别 ,车 SCX}yEDU,. 且 Var(S) 一 kVarCT), 则 咎 与 S$ 的 相关 系数 
PS 一 喇 .( 提 示 ; 令 TT 二 aTj 十 (1 一 a)TsEty, 和 由 Var(T,) 完 
Var 给 册 a 十 (1 一 gD) 二 2at1l 一 8)ptRk2) 2 江 1, 量 至 儿 有 一 个 
a 使 该 式 中 等 号 成 立 . ) 
2.23 (1 设 T(X) 是 gD 的 UMYVUEWU(X)EL ,定义 V(X) 满 
是 a 十 (1 一 uw)V==T ya 是 常数 ,0<a<1. 证 明 
0 a<1i2 
VartV) 一 we QO, 在 一 ]72 
>0, a 12 
(2) 设 ,是 来 自 50, 及 的 样本 ,定义 
一 2》 人) 区 (ny 
ntn— 13 
SX, — TRY 
nn 一 1] 
证 明 ,L 与 WW 有 相 癌 的 均 人 和 方差 . 
2.24 对 Poisson 分 布 五 5) ， 
《1 求人); 
《2 求 了 | 到 | 
《3) 找 个 隔 数 gt :+，) ,使 gC 四 的 Fisher 信息 与 89 无关. 
2.25 设 Xi …，,ZE, 独立 同 分 布 . Xi 的 取 值 有 四 种 可 能 ,其 概率 
分 别 为 四 一 1 89,ps 一 6 一 站 ,py 一 让 一 站 ,PP 二 本 . 以 N, 记 苷 1 中 
出 琉 各 种 可 能 结果 的 次 数 ,N ,十 Ns 十 N3 十 NN 二 n. 
(1) 确定 ayaryasvas 使 了 一 > ，， aNji 为 召 的 克 偏 居 计 ; 
C2) 将 WartT}) 与 的 巨 偏 千 计 方差 的 CC-R 下 界 比较 ， 
2.26 设 {pCri 引 ,8E (as 为 -概率 密度 函数 族 , 假 定 


《17> | eecespoaz 全 a) oo} 


0= 
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2) [pzs0)dz = 1， |zp(zs0)dz 人 a09) 可 在 积分 号 下 求 导 ， 
(3 7 的 一 ECanpgr3yrag7< co , 刚 


Ma (80) /08)? 
1 (0 > 
其 中 (8 二 a (的 一 (a (0 ) 
2.27 设 瑟 具 概 率 密度 函数 pCz; 外 一 8p1 (1) 十 (1 一季 p(x) ,0 过 
9 二 1.p.(x) ,patX) 是 两 个 完全 已 知 的 概率 密 上 度 商 数 , 其 支撑 不 依 蔗 于 
0. 设 关 1,…* ,Xs 是 来 自 该 分 布 的 一 个 样本 ,证 明 :8 的 无 储 居 计 的 CC-R 
下 界 为 


1 — O/Cnatl — J)) (2. 57) 


其 中 /| ”SSE2dr， 如 果 pCx) ,p(x) 的 支撑 不 相交 , 则 /== 
0, {2.735) 即 为 . :项 分 布 中 8 的 无 偏 导 计 的 世 -R 下界, 二 点 分 布 是 
PC 二 x pt) 二] 一 XT 二 011 时 的 特 酌 . 

2.28 (1) 设 卫 ( 芝 ) 是 g(9) 的 无 偏 入 计 . 并 设 Cramer-Rao 正则 条 
人 炸 满 中 ,证 明 ;T(tX) 咱 gt 外 的 有 效 无 偏 佑 计 的 充 要 条 忻 是 存在 a( 站 ， 
使 得 


$= a Tr) ~ g60)) 


其 中 /= 二 (8;z) 表示 对 数 似 然 函 数 ; 
《2 在 (1 中, 我们 指出 ,车 存在 gf 的 无 帆 估 计 天 (和 7) 使 了 (各 ) 


一 gg) 是 芒 = 让 算 的 线性 本 数 CZ 是 似 然 函 歼 ), 则 了 TCX) 是 gC9) 的 有 


效 正 依 知 计 .在 多 数 情 况 下 , 找 不 到 满足 这 样 条 件 的 了 ( 气 )， 然 而 ,有 时 


可 能 存在 st) 的 无 仿 佑 计 下 (X) 满 足 T(X 一 5 人) 是 于 中， 到 深 ，… 


的 线性 函数 , 它 也 是 最 优 的 讽 仿 全 计 ,达到 下 面 介 绍 的 Bhattacharyya 
下 界 . 它 政 进 上 C-R 下 界 . 
股 设 Cramer-Rao 正则 条 件 满足 , 记 了 0 一 “站 ,go 一 2 一 
并 人 ee 


1,…, 假 定 1.=F| 于 F071 ,TLKX) 是 g(0) 的 无 入 
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估计 ,和 证明 : 
Var(T) 2 WD Ne 
且 等 号 成 立 的 充 要 条 件 是 
Te) — #8) = > ew) 全 


此 处 > > "Dg" 称 为 g( 旭 ) 的 无 偏 知 计 的 Bhattacharyya 下 
界 ; . 


C3) 没 六 ,,…, 区 ,是 来 自 NC9,1) 的 样本 , 记 了 4 义 ) 一 XK 一 汪 , 证 


明 ; 工 (X) 是 天 的 无 全 估计 , 且 人 (X) 一 冯 是 写生， 的 线性 函数 ,从 
桥 人 (X) 是 史 的 UMYVUE 所 方差 达到 一 2 时 的 Bhatiacharyya 下 看 . 

2.29 设 习 ,是 来 自 二 (1 及 的 样本 .0<0<1， 

《Cj 求 0201 一 站 的 UMVUET(X)， 

(C2) 证明 :TC(X) 的 方差 这 不 到 8(1 一 站 的 无 偏 估 计 的 C-R 下 界 ， 
但 达到 三 2 时 的 Bhattacharyya 下 界 ， 

2.30 没 开 ，…Xs 是 来 自 一 项 分布 5(0& 六) 的 样 不 汰 :六 未 知 . 

(1) 证 时: 一 1 时 参数 不 可 估 ， 

(C2) 设 n 衬 2, 求 & 庆 的 矩 和 估计 ， 

03) 求 {2) 中 估计 的 渐 近 分 布 . 

2.31 设 (Xi,Y 了 Di 一 1 为 独立 同 分 布 变 是 .Pr (0) 一 1， 
ENT<oo ,EYi<oo, 定义 8 二 EY/EX, ,证 明 


工 _ 外 一 Nto,V) 


广 一 
如 再 


并 求 V. 

2.32 设 刁 ,XX, 是 来 自 密度 请 数 为 p(T;8) 一 8t1 十 办 x1(1 
一 Ts0<0c1,920 的 一 个 样本 ， 

(1) 求 如 的 矩 佑 计 扬 ; 

《2) 求 ， 2 (所 -. FE6.) 的 新 近 分 布 ; 

(3) # 是 否 是 斯 近 有 效 的 ? 
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2. 33 XXX 为 独立 同 分 布 变量 ,Pr(X 一 人) 二 pt0) 大 一 1， 
Ns 的 个 数 , 设 六 (人 对 所 有 有 可 微 ,导数 不 为 0 
1) 四 定 二 . 状 由 (名 ) 一 Na 得 到 的 估计 六 的 渐 近 分 布 ; 

2 和 是 否 是 相合 估计 ? 给 一 个 站 的 新 近 方 差 的 相合 估计. 

2.34 谈 六 ,…, 玉 ,是 来 自 NN(0,o) 的 - -个 样本 ， 

1) 利用 一 阶 矩 椅 造 天 的 矩 估计 ,进而 给 市 a 的 矩 估计 5,; 


12) 证 明 EE,|X, =a 全. 由 此 给 出 a 的 妇 一 站 估计 5 3 
3) 比较, 和 5, 的 MSE, 解 释 比 较 结果 . 
2 35 吝 着 为 独立 同 分 布 变 量 ,G71， 


1—4 


Pr = 1) 了 ， 


Er 一 1 一 一 


{17》 求 2 的 MLE 抽 并 问 负 是 否 是 无 篇 的 ; 

(2) 求 2 的 矩 估计 所; 

(3) 计算 8 的 无 偏 犀 计 的 方差 的 C-R 下 界 . 

2.36 设 玉 ,XX 是 来 自 U(0; 扑 ,8 半 0 的 一 个 样本 , 则 站 的 


2 二 1 x 这 证 ;存在 一 个 估计 


MLE 是 站 一 XUMVYUE 是 所 一 
Bz) ,使 
MSE, (个 < min(MSE6), MSEs(H.,)) 

2. 37 设 半 Le, 玉 , 为 独立 同 分 布 变 甚 , 科 , 一 户 (zz 的 一 0 10 之 
X11,8 汪 0, 邻 j= 二 1/8. 

(1) 求 了 的 MLE7; 

(2) 计算 E77 和 VarCyy; 

£3) 求 了 的 JUMVTUE. 

2.38 设 半 是 来 自 训 Cpc) 的 个 样本 . 记 旧 一 (Psat)， 
置 定 令 de50) 表 基 e 下 方 的 总 体 的 比例 . 

(1) 试 求 g(t) 的 MLE; 
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(2) 试 证 g.{ 四 的 UMYUE 为 


T(z) = G| 计 + 了 er|， kV EC 1.1) 
| ET 1 

其 中 

k= vn Ce 一 
Ve Ce — XG - 
G( ， ) 表 示 Beta 分 布 Be 喜 ( 一 2), 二 (mn 一 2)] 的 分 布 尖 数 

2.39 设 六 1,…' 六, 是 来 自 避 (C8,, 兵 ) 的 一 个 样本 . 

(1) 证 明 { 信 届 ; 广 ,3) 是 该 分 布 族 的 完备 充分 统计 是 ; 

(C2) 求 名 ,9 的- 一致 最 小 方差 无 偏 居 计 ; 

{3) 证 明 ; 车 名 二 9), 则 (六 ,站 ww) 不 再 是 完 各 的; 

(C4) 对 如一 20 :, 求 页 的 MLE, 对 之 作 修 篇 , 记 因 页; 

(5) 令 芽 = (x 十 (2X 十 玉 oy) AC5n 十 4),; 则 荆 是 负 的 无 偏 属 
计 , 且 Vart7T) 和 Vartt). 

2.40” 设 XX ,…,X, 是 来 自 (28, (十 1)9) 上 均匀 分 布 的 样本 ,> 
0 已 知 , 

01) 求 8 的 MLE, 记 为 6， 

C2) 证 明 Var 一 Var( En 

C3) 令 8 二 基山 /二 ,考虑 形 如 T=adi+(—a)? 的 估计 , 求 使 
Var(T2) 达 最 小 的 4;, 记 为 8° ,计算 Vart8" /Vart@). 


2.41 设 莽 /，,"… ,下 是 来 自 {p(xigy0) = 让 exp {xg|/o) ,pe 
全 尺 ,goE R' 的 一 个 样本 . 

(1) 求 ae 的 矩 估 计 ; 

(2) 求 ks 的 极 太 似 然 情 计 - 

2.42 设 和 ,是 来 自 下 列 Weibull 分 布 的 -个 样 杰 ， 


Fir}— 1— exp{l— rr 工 站 


著 其 中 冯 已 知 ， 

(1) 试 求 了 的 MLE7; 

(2) 试 求 了 的 区 近 分 布 . 

2.434 和 证明, 对 正 态 分 布 wayo ,车 只 有 -个 观测 值 , 则 产 ,az 的 
要 天 似 然 佑 计 不 存在 . 

2. 44 六 是 来 自 和 (8,a 磊 ) 的 -… 个 样本 ,8>0 未 拓 ,a 盖 0 
已 知 . 

C1) 计算 #8 的 MLE 并 求 其 新 近 分 布 ; 

(2) 对 什么 a 值 ,及 的 新 近 效 超过 0.9? 

2. 45 Xi~Erzploe) ln Erp (ad) j 一 1,… ,nn, 合 样本 
独立 . 求 8 的 MLE8 并 将 它 的 渐 近 方差 与 a 已 知 时 8 的 MLE 的 新 近 方 
差 进行 比较 . 

2.46 考虑 姑 级 数 分 布 的 极 太 似 然 估计 . 关 |，…, 芳 , 为 来 自 (2. 56) 
的 一 个 样本 ,总 一 二 > 飞 。 

(1) 证 明 EoX 全 jt 四 一 9 (1/ 了 (0)， 

(2) 证 明 如 的 MELE 是 成 一 xz 的 根 . 这 里 的 似 然 方程 与 矩 法 方程 
一 致 ; 

3) 求 单个 现 测 值 的 Fisher 信息 五 (9); 

(4) 试 对 Poisson 分 布 , 二 项 分 布 , 截 尾 Poisson 分 布 分 别 写 出 上 
述 似 然 方 程 的 显 式 表 示 式 . 

2 47 最 因由 知 , 请 束 :独立 . 

(1) 试 求 产 的 BLUEHe 

(2) 问 闫 是 否 是 上 的 有 效 无 偏 估计 

(3) 设 下 已 知 , 求 位 物 变 换 下 jy 的 最 优 癌 变 估 计 . 

2.48 设 E 一 NOOO 二 Ly pV Na) yi 二 1 ,ns 合 
样本 独立 5 社 知 . 

11) 试 求 的 BLUEp; 

(2) gx 是 省 是 的 有 效 无 偏 估 计 ， 

(3) 设 呈 已 知 , 求 位 移 变 换 下 的 最 优 癌 变 倍 讶 . 
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2.49 没 X,,….X, 独立 同 分 布 ,的 密度 函数 为 Axe- /了 ,0<cx 
<9,k>0 已 知 ,9>0 未 知 . 试 在 尺度 变换 下 求 9 的 最 扰 同 谈 估 计 . 

2.50 设 习 .2 独立 加 分 布 ,其 共同 的 密度 浮 数 为 40r ,xz 
>>8>>0,0 是 末 知 参数 . 试 在 尺度 变 换 下 求 ! 的 最 优 问 营 全 计 . 


2.51 设 X,,…,X, 是 来 自 密度 西数 为 祁 exp: 一 |ri7oj 的 双 指 数 


分 布 移 一 个 样本 ,o>0 是 未 知 参 数 , 试 在 尺度 变换 下 上 so 的 最 优 同 变 
估计 . 
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33.1 基本 概念 


常用 的 UU 检验 ,z 检验 和 下 检验 都 具有 足 赴 的 直观 性 和 可 信和 感 ,本 
章 将 对 这 些 检 验 的 优良 性 作 深 入 的 研究 . 那么 .一 个 检验 “好 ”的 标准 是 
省 么 ?对 二 给 定 的 “好 坏 ” 标 准 , 是 否 存 在 最 优 的 检验 方法 ? 如 果 人 站 在 ， 
又 怎样 求 得 ? 这 些 问 题 的 深入 研究 就 要 涉及 假 旋 检 验 理 论 的 一 些 基本 
问题 , 为 此 , 先 引进 … 些 基本 概念 ， 


8$3.1.1 假设 


定义 了.1 设 ( 且 , 田 , 到 ) 为 一 统计 结构 , 刚 .: 冯 的 非 空子 集 称 为 
假设 . 在 参数 分 布 族 邑 一 1PoigEgBB} 时 ,名 的 非 空 子 集 称 为 假设 . 

设 样本 空间 :党 中 的 样本 点 二 是 我 们 的 观测 值 ,除了 参数 估计 , 统 
计 推 断 中 的 又 -类 重要 问题 是 ,检验 观测 值 > 与 给 定 的 假设 是 否 存在 
矛盾 .这 类 间 题 称 为 假 度 检 验 问 题 ， 

在 -个 仍 设 检验 问题 中 常 涉及 两 个 假设 . 所 要 检验 的 假设 称 为 原 
很 设 ; 记 为 Ho 与 好 不 相 容 的 假设 称 为 备 择 假设 , 记 为 五,. 关于 统计 
结构 (从 , 志 . 训 ) 的 原 假 设 和 委 择 殷 设 分 别 记 为 

三 对 再 :书生 学， 
这 里 代 ; 和 名 | 是 多 的 两 个 互 不 相交 的 非 空 子 集 . 在 参数 分 布 族 他 = 
{Ps : 8EB} 场 合 , 原 假 设 和 备 择 假设 分 别 记 为 
五， 8 和 轩 对 五 | :8E 名 
这 里 纯 和 全 是 母 的 两 个 互 不 相交 的 非 空子 集 . 给 定 五 。 和 五 , 就 等 于 
给 定 -个 检验 问题 , 记 为 检验 问题 CH,,H)). 而 (6, ,8,) 称 为 参数 假设 
检验 问题 ,其 它 称 为 非 参 数 假 设 检 验 问题 
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$3.1.2 检验, 拒 次 域 与 检验 统计 量 


是 沁 3.2 在 检 答 问题 (Ho, 站 中 ,所 亩 检验 法 则 (简称 检验 法 ， 
或 检验 ), 就 是 设法 把 样本 空间 划分 为 开 不 相交 的 两 个 可 油 集 ， 
一 W+ 克 
并 作 如 下 规定 : 
当 观 测 值 z 扣 下 时 ,就 拒绝 原 假设 如 认为 备 搓 供 设 瑟 , 成立 ; 
当 观 得 值 r 委 全 ( 即 xE 玉 ?时 ,就 不 拒绝 原 假 设 13.. 
这 里 的 W 称 为 检验 的 拒绝 城 ， 

这 样 一 来 , 选 定 了 办 验 法 ,就 是 确定 了 拒绝 域 ; 反 之 , 选 定 了 拒绝 
域 , 也 就 确定 了 检验 法 . 

为 了 确定 拒绝 域 .往往 首先 由 局 题 的 直观 背景 出 发 ,寻找 一 个 统计 
基 ,使 得 在 原 假 设 5 成 立时 和 在 备 择 假设 五 | 成 立时 ,该 统计 量 的 值 
有 差异 - 从 而 使 得 我 们 能 够 根据 这 个 统计 量 的 值 的 大 小 选 年 拒 物 域 . 我 
们 称 这 个 能 从 样本 空间 中 划分 出 拒绝 域 的 统计 量力 检验 统计 量 . 

例 3.1 电话 交换 台 单 位 时 间 内 接 到 的 呼 罗 次 数 服 从 泊 松 分 布 
P(A ,4 守 0. 4 为 单位 时 间 内 接 到 的 平均 呼唤 次 数 . 为 了 考察 该 变换 台 
在 单位 时 间 内 的 平均 呼 噶 次 数 是 大 不 超 过 1, 可 考点 建立 如 下 两 个 假 
设 : 


奈 和 假设 日;:4 达 1 对 备 择 假设 五 ;| : 4 上 (3,1) 
设 一 (zi 是 该 电话 交换 台 的 = 次 记录 . 即 它 是 来 自 
Poisson 分 布 .这 二 P(N) 的 样本 X 一 (的 -- 个 观测 值 . 取 检 验 


统计 量 了 一 >/ 区. 它 是 》 的 充分 ,完备 的 统计 量 . 一 般 来 说 ,在 原 假设 


瑟 " 成 立时 检验 统计 量 的 值 较 小 ,而 在 备 择 委 设 及 | 成 立时 检验 统计 量 
的 值 较 大 .这 里 有 -个 临界 值 :在 工 兰 c 时 认为 样本 数据 x 与 原 假 设 
相 子 盾 , 因 市 拒绝 原 假 设 ; 而 在 本 <c 时 就 不 拒绝 原 假 设 , 该 检验 的 拒 
编 域 可 用 检验 统计 景 表示 如 下 : 


1 
Wo= {rr: Drmec) 
1 一 ] 
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这 个 检验 是 直观 和 可 信和 的 . 如 何 确定 < 值 的 问题 与 检验 犯 两 类 错误 的 
概率 有 关 . 


& 3. 1.3 两 类 错误 


在 进行 答 验 时 ,由 十 样本 的 随机 性 ,我 们 可 能 作出 正确 的 判断 ,也 
可 能 作出 错 谋 的 判断 ,正确 的 判断 是 原 假 设 1: 成 立时 接受 五 。 或 原 
息 设 与 , 不 成 立时 拒绝 五 。 而 错误 的 判断 是 原 假 设 五 , 成 立时 但 被 拒 
钨 ,或 诛 俱 设 Ti 不 成 立时 但 被 接受 , 为 了 对 检验 法 的 好 坏 给 出 一 
理 的 评选 标准 ,需要 考察 一 个 检验 法 可 能 犯错 误 的 概率 . 

当 原 假设 Ii; 成 立时 ,样本 观测 信和 却 落 在 拒绝 域 中 W ,从 而 拒绝 了 
原 假设 . 这 种 错误 称 为 第 一 类 错误 . 犯 第 一 类 错误 的 概率 为 

a= P(XEW), PE 
在 参数 统计 华 构 , 犯 第 一 类 错误 的 概率 为 
a = PX EW), EW. 

另 一 类 错误 是 , 当 原 假设 屯 , 不 成 立时 ,样本 闹 测 值 却 没有 落 在 拒 
锥 域 Wd ,从 而 没有 拒绝 原 假 设 , 这 种 错误 称 为 第 二 类 错误 . 犯 第 二 类 
铺 误 的 概率 为 

B= PXEWIT1— PREWI. PE 
在 参数 统计 结构 , 犯 第 二 类 错误 和 的 概 率 为 
BO 一 PAXEWI=1--PAXEW). Ee, 
壁 如 和 例 3.1 中 的 检验 犯 第 一 类 错误 的 概率 为 


atA) = -> Cen) :exp 一 mA， 443] 《3, 2) 
而 检验 和 第 一 关 错 训 的 要 让 为 
(N= 3 Cea) , exp{— nAy 


pr 1 


-> 站 A) “exp{— nA:, A>1 (3.3) 
这 两 类 鲁 虽 的 概率 吉林 以 训 过 ( 久 EW) 来 表 汶 ， 
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$3.1.4 执 应 数 


定义 3-3 称 样本 观察 什 落 在 撞 弧 域 的 概率 为 检验 的 势 晴 数 , 记 
为 
&(9) = PXEW), EQ 
在 8E 弛 有 时,# (8) 二 a(6),g( 扑 是 检验 犯 第 一 类 错误 的 概率 .在 
8E 时 ,gt9) 一 1 一 200) ,1 一 g(9) 是 检验 犯 第 二 类 错误 的 概率 . 
在 例 3.1 中 ,检验 的 势 荡 数 为 
E(t2A) = S 人 " EXP {— AA! (3. 4) 


它 是 4 的 产 增 函数 . 在 4 一 10 时 ,临界 值 分 别 取 为 二 1B 和 c=14 的 两 
个 检验 的 势 旦 数 的 上 县 条 曲线 形式 如 图 3.1 所 示 . 


sa)| 


0~ 0 5 1-6 Ts 50 也 5 3 
图 3.1 Poisson 分 布 均值 检验 部 势 函数 的 周 依 


8$3.1.5 检验 的 水 平 


在 例 3.1 中 ,从 53.23 和 (C3.3) 两 式 可 以 看 出 ,在 样本 容量 n 固定 
时 ,要 总 少 犯 第 -类 错误 的 概率 ,必须 增加 cy 从 而 导致 丧 大 犯 第 二 类 
错误 的 概率 :反之 , 若 更 减少 犯 第 二 类 错误 的 概率 ,必须 减少 c, 共 而 使 
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得 犯 这 两 类 错误 的 概率 都 减少 . 这 一 现象 在 :- 般 的 检验 问题 中 也 都 出 
现 ， 

基 十 这 种 情况 ,需要 采取 基 种 受 协 方案 . Neyman 和 Pearson 的 慨 
设 答 恰 理 沦 的 基本 思 档 ,就 是 使 得 犯 第 一 类 错 这 的 概率 限制 在 某 一 个 
范 留 内 ,然后 寻找 使 犯 第 二 类 错误 的 概率 尽 可 能 小 的 检验 .在 这 种 思想 
指导 下 ,寻找 … 个 好 的 检验 法 ,就 是 对 选 定 的 -个 较 小 的 数 aC0<a< 
1) ,在 满足 

gst) = Pei EWEa, HER, 
的 检验 中 ,寻找 这 样 的 检验 ,使 得 在 9€EB, 时 ,g(t9) 尺 可 能 的 大 . 

在 <Eg@u 时 ,gosa 的 检验 称 为 水 平 为 ea 的 检验 , 记 为 fay@@o, 鲜 ;) 
检验 .a 是 事先 选 定 的 ,由 于 a 的 大 小 反映 了 检验 犯 第 -- 类 错误 的 概率 
的 大 小 ,所 以 常 取 一 个 较 小 的 数 .例如 取 0.1,0.05,0.01 等 作为 a 的 
值 .e 的 选取 也 依赖 于 我 们 关于 假设 前 先 验 信息 ,依赖 于 我 们 对 犯 第 二 
类 错误 的 要 求 . 比如 ,根据 以 往 的 经 验 , 非 常 相 信 原 假设 是 真 的 ,而 犯 第 
二 类 错误 又 不 会 造成 大 的 影响 或 后 果 , 此 时 x< 就 可 以 家 得 小 一 些 . 又 比 
如 ,第 一 类 错误 带 来 的 影响 较 大 ,需要 严格 控制 犯 第 二 类 错误 的 概率 ， 
此 时 a 可 以 选 得 适当 大 -一 些 . 

在 鲍 3, 1 中 ,由 于 检验 的 势 画 数 g(C( 见 3.4 式 ) 是 4 的 严 增 函数 ， 
给 定 * 后, 为 使 犯 第 一 类 错误 的 概率 不 超过 =, 即 在 4 所 1] 时 ,8503<sa， 
只 需 


2 二 
有 (12 一 > 夺 exp{ 一 人 二 < (3.5) 
= M 


# 一 10:c 取 不 同 的 值 时 ,《3. 5) 式 左边 的 秆 如 下 表 所 示 . 


表 3-1 Poisson 分 布 均 镭 检验 犯 第 一 类 错误 的 只 率 


gn 


gi) 


.135 537 0. O027 043 


.O14 279 


15 D. O83 460 


DO. D7 188 


18 0. 048 742 
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在 x 二 10 时 ,车 取 a 二 0.05, 由 于 
,10° 


Er exPp{— 10) 一 0.048 740 < 0, 05 《3. 6) 


=16 


和 二 
10 ,exp{— 10} = 0.083 458 = 0.05 《3.7) 


由 一 5 


根据 Neyrnan 和 Pearscn 的 假设 检验 理论 的 基本 忠 想 , 取 < 一 16. 所 以 
在 买 ，…,X 是 来 自 泊 松 分 布 总 恒 室 一 (CCP 的 一 个 样本 时 ， 
关于 检验 问题 (3.1) 的 水 平 a==0.05 的 拒绝 域 为 


WW 一 {z 日 Dx 守 16} 
在 上 述 的 叙述 中 ,对 拒绝 原 根 设 , 给 以 特别 的 注意 .在 原 假设 为 真 时 , 样 
本 观测 值 医 人 拒绝 域 是 一 个 小 概率 事件 .根据 实际 推断 原理 ,在 一 钦 观 
测 中 ,小 概率 事件 是 几乎 不 可 能 发 生 的 . 所 以 拒绝 原 假设 的 理由 是 充足 
的 . 由 于 检验 犯 第 二 类 错误 的 概率 并 没有 受到 限制 , 仪 要 求 它 羡 可 能 的 
小 ;所 以 在 备 择 假 设 为 真 时 ,样本 现 测 值 没有 落 作 拒绝 域 可 能 不 是 一 个 
小 概率 事件 . 因此 接受 原 假 设 的 理由 可 能 是 不 充足 的 . 较为 科学 的 说 法 
是 不 拒绝 原 假 设 . 把 “不 拒 弧 原 假设 "说 成 “接受 原 假 没 ”, 这 是 为 了 防止 
在 诸如 “除了 拒 维 与 接受 之 外 ,还 有 第 三 种 可 能 ”之 类 的 暂 理性 的 讨论 ， 
从 而 使 实际 工作 者 能 较 快 地 熟 匡 和 使 用 假设 检验 上 方法 ， 

对 给 定 的 水 平 w, 人 们 总 是 力图 构造 这 样 的 检验 .使 得 检验 犯 第 一 
EO 一 三 下 有 和 2， 日 和 加 

并 且 至 少 存在 个 8E 人 @,, 和 使 得 

gD 一 PX 所 本 ) 一 上 
这 意味 着 水 平 被 " 足 景 "地 使 用 了 ,以 满足 尽 可 能 减少 检验 犯 第 二 类 错 
误 的 概率 的 要 求 . 在 例 3.1 中 ,一 10 时 ,所 求 得 的 水 平 a 一 0.05 的 检 
验 , 水 平 并 没有 被 “是 量 ”* 的 使 用 . 在 原 假 设 五 :41 成 立时 ， 


a ; 
au) 一 > 《1047 "exp{— 104} 
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工人 四 
< 2 exp{ 一 10) 一 0.048740 


为 了 能 构造 出 水 平 a 二 0.05 被 "是 量 ” 地 使 用 的 检验 ,需要 引进 随 
机 化 检验 . 


$3.1.6 检验 函数 和 随机 化 检验 


定 六 函数 
ll xEWw 
${zx) = 0， 和 zw 
它 是 护 绝 域 W 的 示 性 函数 , 仅 取 和 1 两 个 值 . 反之 ,如 果 一 个 函数 
5z) 仅 到 0 和 1 两 个 值 , 则 态 == {xz :gz) 一 1 可 作为 拒 忽 域 .于 是 ,给 
出 了 这 样 的 一 个 函数 ,就 等 于 给 了 一 个 检验 法 , 这 样 的 函 教 xz) 称 为 
检验 函数 ,简称 检验 . 它 是 仪 取 0 和 1 两 个 值 的 统计 量 . 检验 的 势 疯 数 
可 表示 为 


gC0) 一 PX €E W) = Er#(X)) (3. 8) 
为 了 能 构造 出 水 平 被 * 足 其 * 地 使 用 的 检验 ,需要 拓 广 检验 函数 的 概念 . 
。 定 多 3.4 设 站 7) 为 定义 在 名 土 的 可 测 函 数 ,满足 条 件 0<$(z) 
所 1, 则 称 g%(z) 为 检验 函数 ,简称 检验 . 在 $Cx) 仅 取 0,1 两 个 值 时 , 则 为 
非 贿 机 化 检验 . 否则 ,为 随机 化 检验 . 其 势 画 数 为 g&( 人 一 全 弛 (和 )， 

韭 随 术 化 检验 的 拒绝 域 玉 二 {x :$C(r)==1). 在 随机 化 检验 时 , 假 
变样 本 观测 值 为 *, 则 我 们 以 概率 $Cz) 拒 绝 原 假设 ;以 概率 1 一 #Cz) 接 
受 原 假设 . 在 86€ @ 时 ,e(9) 是 检验 犯 第 一 类 错误 的 概率 ,而 在 9E 妈 
时 ,1 一 gf 的 是 检验 犯 第 二 类 错误 的 概率 ， 

在 例 3.1 中 心 一 10,w 一 0.05 时 ,考虑 到 检验 的 直观 和 可 信 , 取 看 
随机 化 检验 函数 


1， 全 宇 16 
$xr) = |r, T= 15 
0， 了 扫 4 


其 中 了 = > ”mi 在 原 假设 五。: 4 所 1 成 立时 ,该 检验 犯 第 一 类 错误 
的 概率 为 
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op . 村 
atA) 一 >) ao "exp 一 104} 十 
£16 ， 
1s 
> * exp{— 104} 
S10 10' 
三 exp{— 10} Tr: 157 * 


exp{— 10} = 0.048 740 十 > -0.034 718 
为 使 得 水 平 se 一 0.05 被 * 足 量 " 地 配 用 , 立 有 


i 0.05 一 0.048 740 
0. 048 740 + r+ 0,034 718 = 0,05,7 0 3d JE = 0.036 


这 个 非 随机 化 检验 的 实施 过 程 如 下 : 若 样本 观察 值 x,… ,zx 满足 条 件 
交 ”zi 关 16, 则 拒绝 原 假设 ;车 > ,z 志 14, 则 接受 原 假设 ;着 了) 
Xx 二 15, 先 做 一 个 成 功 概率 为 0. 0365 的 只 努 里 试验 ,如 困 试 验 结 果 为 成 
功 , 则 拒绝 原 假 设 ,反之 则 接受 原 假设 ， 

在 下 面 两 节 , 这 个 随机 化 检验 的 优良 性 将 被 说 明 . 


$3.1.7 充分 性 原则 


定义 3.5 设 禹 (xz) 和 内 (x) 都 是 某 捡 验 问题 (万 ,; 太 ,) 的 检验 函 

数 ,如 果 它 们 的 势 函 数 相 同 , 即 
Esdf# XY}1= EdtX)], ED 
到 称 检验 函数 办 (xz) 和 (x) 等 价 . 

这 个 定义 意味 着 ,检验 函数 的 统计 性 质 完全 取决 于 其 势 函数 . 势 函 
数 相 同 ,就 认为 这 两 个 检验 栖 数 等 价 ， 

定理 3.1 设 闷 一 (是 来 自分 布 族 :到 一 (Po ;BE) 的 
样本 ,了 T(X) 是 关于 号 的 充分 统计 量 ., 则 对 任意 一 个 检验 画 数 gz)， 存 
在 男 一 个 只 依赖 于 T(x) 的 检验 函数 , 它 与 点 z) 相 互 等 价 . 

证 明 ; 因为 了 (和 ) 是 关于 如 的 充分 统计 基 ,所 以 条 件 期 望 gx) 一 
E[#CX) T=t] 与 98 无关 ,又 因为 0 挝 $2) 所 1, 折 以 0 之 p(t) 这 1. 因而 
4(2) 也 是 恰 验 兽 数 . 由 于 

Esp(T (XY) 一 EdELSCX) |T]} = E,($ (NX)) 
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所 以 gli) 和 (x) 具有 相同 的 势 晒 数 , 相 互 等 价 . 证 尘 . 

这 个 定理 告诉 我 们 , 当 4 的 充分 统计 量 存 在 时 ,关于 8 的 任何 根 设 
检验 问题 .其 优良 检验 ,只 要 在 充分 统计 量 构成 的 输 验 函数 中 去 寻找 就 
可 以 了 , 这 就 是 假 没 检 验 中 所 请 的 “充分 性 原则 ”. 


§ 3.2 Neyman-Pearson 基本 引 理 


如 果 一 个 假设 只 含有 一 个 元 素 , 则 称 该 假设 为 简单 假设 ,否则 称 为 
复合 假设 . 在 例 3.1 中 , 原 假设 五 ,: A 所 1 和 备 择 假设 妃 ;: 42>1 都 是 
复合 假设 . 如 果 我 们 考虑 的 检验 问题 是 , 原 假设 态 , : 4 二 1 对 备 择 假设 
HH :A>1, 那 么 这 个 原 假 设 就 是 简单 假设 . 

现在 我 们 来 考虑 简单 党 假设 对 简单 备 择 假设 的 检验 问题 .这 不 习 
是 因为 这 样 的 检验 问题 特别 简单 ,已 经 完满 地 解决 :而且 也 是 我 们 解决 
许多 更 一 般 的 检验 问题 的 基础 . 

设 (3 , 罗 .1Po gpEB)) 为 一 参数 统计 结构 , 郑 虑 恰 验 问题 : 

简单 原 假 设 瑟 。: 8 二 所 对 简单 备 择 假设 要 | :0 二 外 (太医 扩 ) 
(3. 9) 
这 时 ,比较 尾 意 岗 个 术 平 为 0 的 输 验 加 (x2 和 (xr) 的 好 坏 是 容易 的 - 在 
Eo [$CX) >Es [p(X)] 时 ;我们 说 加 (xz) 不 比 和 (x) 差 .由 之 ;很 自然 
地 有 下 面 药 定 义 . 

定义 3.6 在 检验 问题 Bu, ) 中 , 设 %zr) 是 水 平 为 的 检验 - 如 

果 对 任意 个 水 平 为 的 检验 页 (Cry* 邦 有 

Es [$CX) |] 之 Ee [WOXDj 
则 称 检 验 #$tr) 是 水 平 为 o 的 最 优势 检验 , 记 为 MPT(CNMost Powerful 
Test). 

下 面 的 著名 引 理 证 明了 ,在 简单 原 假 设 对 简单 备 择 假设 的 检验 问 
题 中 .MPT 一 定 存 在 ,并 且 可 以 具体 构造 出 MPT 的 办 验 函 数 . 

定理 3.2 ‘Neyman-Pearson 基本 引 理 ,简称 N-P 基本 引 理 ) 设 
Ps 和 Ps 是 可 测 空 间 ( 流 ,和 汐 ) 上 的 两 个 不 同 的 概率 测度 ,关于 某 个 og 有 
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假 的 测度 “, 有 


名 


dP < 
FA 一 dp piri ) 一 了 


则 在 检验 问题 <3.9) 中 ， 
(1) 对 给 定 的 a(0< 之 a 之 1) 存在 一 个 检验 函数 $7) 及 常数 靖宇 0, 使 


得 
Ee $CX) 一 允 3. 10) 
人 Pri) > pplz:t) 
一 
0, prid) Rr pid) 
(2) 由 (03.10) 和 和 《3.11) 两 式 确定 的 检验 函数 $5(x) 是 水 平 为 的 
MPT. 反之 ,如 果 #(x) 是 水 平 为 «的 MPT, 则 一 定 存 在 常数 汪 0, 使 
得 gx) 满足 (3. 11) 式 fa.e. [2]). 
证 朋 ;1" 首先 证 明 (1) ,存在 形 如 (3.11) 的 检验 函数 , 且 合 (3.10) 
式 成 立 . 
对 于 任 -实数 4, 令 
GD = Pe (pORIO0) > A pOR;O,)) 
由 于 这 个 概 这 是 在 Pr 下 计算 的 ,所 以 只 要 在 集合 人 2 :plr;) 守 0} 上 
考虑 不 等 式 ptri As pirith). 


G(N) 吓 非 灸 随机 变 鲁 红 吉 :9 >> 4 的 概率 , 故 1- GC) 是 随机 变量 


如 和约 3 的 分 布 函 数 . 所 以 CC) 是 一 个 非 增 、 右 连续 西数 , 生 


(3.11) 


G+ om) =0, G0 0}=1 
mplXID) | 
给 定 a€ 0,1) 后 ,有 筷 只 有 下 列 丙 种 情况 ; 
相 PX) 人 
$x) 一 
Op ) Eh plrib) 


CD 一 个 (和 一 下 


则 


3.2 Neyman-Pearson 基本 | 韩 » 77 = 


Es $CX) = Pa {pAXSO) 全 和 CO = GW) = a 
LT 兰 在 为 守 0, 合 得 GC) 过 a 之 Gh 一 0). 定义 


1 Ga (zi8 > hh (zi 
一 一 © 加 — 本 中 
0 站 (让 


则 
Es $CX)= Pa {p(XIO) > ho pKXIO)} 一 
一 CC) , 
Ch 0) — G0) 
一 i pKREG)} = GD 十 [ee 一 人 fi) 上 = 
在 这 两 种 情况 下 ,io 就 可 以 被 取 作 (3.11) 式 中 的 非 贡 常数 天 .qz) 
使 得 (3. 10) 式 成 立 , 这 说 明 $8(z) 是 水 平 为 a 的 检验 函数 . 它 是 水 平 « 
被 "“ 足 量 ”" 地 使 用 的 检验 函数 . 
2* 其 次 证 明 , 由 公式 (3.10), (3.11) 得 到 的 检验 耻 数 $5(x) 是 
MPT. 
设 $8' (Zz) 是 其 它 任意 -- 个 水 平 为 的 检验 明 数 , 即 Ep" (CX) 折 a 
由 于 $x) 满足 (3.11) 式 ;所 以 
[$ C7) 一 Bx) persistd) — Re plrsd,) 0 


Pe (plX30)) 


因此 


jz $0) ples0) — ke pi d(x) 0 
从 而 
Fo gCX) 一 Fog (Xk: [TEX) — Es $° CX)] 
二 万 " [a Esp {X})] 守 0 

所 以 x) 是 MPT. 

3 最 后 证 明 :车 因 (zx) 是 水 平 为 a 的 MPT, 则 一 定 存 在 非 代 常数 
下 ,使 得 四 (7 满足 (3.11) 式 (ae.[LA])， 

没 (x) 是 满足 (3. 10), 《3.11) 两 式 的 检验 函数 ,由 2° 知 ,$(z) 是 
水 平 为 z 的 MPT, 巾 于 r(x) 和 $Cz) 莉 是 水 平 为 «的 MPT, 风 
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Es $CX) Es $CXD. 由 于 zz 满 是 (3,11) 式 ,所 
LF) — $e Ep) Rp 0 (3.12) 
因为 Ee $CX) 二 Es $CX) Eap (CX) Ea=Es $C(X) ,所 以 


| fgezr) — Br [六 (rs 一 开户 (多 dr) 


FpXY— Es 有 (于 》 — kk: [EsttX) — Eg (XEDO 
《3, 13) 

比较 (3. 127 和 (3. 13) 殉 个 不 等 式 ,可 得 

[Cr — Bry]: [pri 一下。 8] 一 (as. Luly 
茧 在 集合 1 + Pir) 一 ptrcs0) 了 0} 上 ,有 (x) 二 (x) (a. S， 
Fa. 这 证 明了 六 Cxr) 满 中 C3.11) 式 (a.e.[xj). 证 毕 . 

注 1. 满足 (3.11) 式 的 检验 阔 数 #(z) 通 常 称 为 似 然 比 办 验 函 数 
《或 称 为 概率 比 检验 函数 ). 在 集合 {x ;plzT;9) 站 0 或 pz) 守 0} 上， 
征文 似 然 检验 比 画 数 


在 4X(z) 化 较 大 的 时 候 ,p(x; 喇 ) 比 较 大 ,所 以 原 假 设 万 : 8 二 品 为 真 时 
观察 到 样本 点 工 的 可 能 性 比 备 择 假 设 吾 ; : 8 一 负 为 真 时 观察 到 样本 点 
工 的 可 能 性 小 . 而 在 4(z) 比 较 小 的 时 息 , 记 (zibo) 比 较 天 ,所 以 备 择 假 
设 五 . ; 6 一 0 为 真 时 观察 到 样本 点 工 的 可 能 性 比 原 假设 日 。: 9 一 如 为 
真 时 观察 到 拌 本 点 z 的 可 能 性 小 . 由 此 很 自然 地 .我 们 在 +z) 比较 大 
的 时 候 ; 拒 绚 原 假设 ,认为 0 一 0 成 立 ; 而 在 x} 比较 个 的 时 候 , 不 拒 弧 
原 假 设 ; 认 为 8 一 抽 成 立 . N-P 基本 引 理 告诉 我 们 ,在 简单 原 根 设 对 简 
单 备 择 假 设 的 检验 问题 中 ,MPT 是 似 然 比 检验 : 反 此 , 似 然 比 检验 也 是 
MPT， 
注 z. 在 似 然 比 Arz) 基 有 连续 分 布 函数 时 ,MPT 检验 函数 可 取 为 

菲 随机 化 的 形式 

1， A(T) 汪 串 

0， AKC < 是 
其 中 上 由 (3.10) 式 , 即 Eo $Cz) 一 Po (A(T) 汪 吉 一 6 崩 定 . 在 Az) 为 离 


Bx) 一 


$3.2 Neyman-Pearson 基本 引 | 之 * 79+ 


散 随 机 变量 时 ,至 多 在 集合 {z+ :Aizr) 一 A) 上 实施 随机 化 . MPT 检验 西 
数 可 取 为 
1 ， AKCr) > 
区 人) = | ACT) 一 此 
0， ACT) < 大 
其 中 下 三 zr 由 03.10) 式 ; 即 由 以 下 两 式 确定 
Pi tACX) 次 是 次 和 党 人 
一 妾 | 
和 0 AC) 二 上} 
有 了 时 ,在 集合 {x : A(z) 二 上 上 可 以 实施 非 随机 化 < 凡 下 面 的 例 3. 3)， 
注 3. 在 非 参数 统计 结构 (有 , 鹏 ,到 ) 中 :者 坟 简单 原 假 设 百 , : PP 
三 P, 对 简单 备 假 设 择 五 , ; P 二 了, 的 检验 问题 . 设 P 和 瑟 , 是 可 测 空 


间 (. 侣 ,为 ) 上 的 两 个 不 同 的 疾 率 测度 , 且 关 于 某 个 a 有 限 的 测度 yy, 有 


_dP, _ dP 
putT) 一 dp +: ptx) = da 


r 


定义 似 然 比 Xx) 一 如 (37. N-P 基本 引 理 仍然 适用 ， 


例 3.2 设 直 一 (天 ,其 ?是 来 自 正 态 分 布 族 {VCA:1) ;一 oo0<p 
<eo} 的 样本 ,考虑 如 下 的 检验 问题 ; 

原 假 设 瑟 :二 0 对 备 择 假 设 H; : 产 一 上 (人 0) 
取水 平 为 at0<<a<<i). 构造 似 然 比 统计 量 


M7) 一 二 一 一 expfzapz 一 DM} 
lipcz;0) 
1 一 1 


MPT 的 拒 饮 域 具有 形式 
人 一 人 ACT) 站 一 人 二 ee 


当 8 成亲 时 ,下 ~N| 0, 坟 |. 所 以 对 于 给 定 的 水 平 wc= MPT 


bi 
检验 仪 与 水 于 a 有关, 而 与 如 的 具体 数值 无 关 , 上 只 昌 求 训 半 0 就行 了 . 
如 果 把 此 例 中 的 备 择 很 设 改 为 五 2 二 pC 二 0); 则 MPT 检验 
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的 拒绝 域 为 


; ~ Us 
一 1 二 
| 


同样 ,该 检验 仅 与 水 平 & 有 关 , 而 与 p 的 具体 数值 无 关 , 只 要 求 上 <0 
就 行 了 . 
涛 正 态 分 布 族 为 { 人 (na 有 一 ce 二 Re 有 po 天 一 


mA, 则 可 以 通过 变换 一 一 全 ,将 这 个 假设 检验 问题 归结 为 
上 面 所 述 的 情况 . 其 化 绝 域 为 
元 一 上 Ue 
三 ” 一 > 
例 3.3 设 半 二 (Xl,… ,六 ,) 是 来 自 均匀 分 布 族 {Rt01) :DO 
的 样本 ,考虑 如 下 的 检验 问题 : 
原 假设 互 。:8=1I 对 备 择 仍 设 五 :9 一 页 ( 由 全 17 
取水 平 为 a(0<a<<1). 构造 似 然 比 统计 量 


Ar 一 Le) 一 On 
Tl gr;1) 过 To 
其 中 xo) 一 max {zs… ;xn) 在 原 假 设 吾 。 成 立时 ,zz) 的 分 布 是 退化 分 
布 . 令 避 () 一 PCCXEDJA2 一 1)， 则 
0 一 各 ( 太 ")<a<Glb 一 0 一 1 
由 N-P 基本 引 理 知 , 取 A 一 让 则 MPT 为 
fr) 一 1 1 所 Xs 之 站 
而 在 0<Zx6,<1 时 ,8(x) 的 值 由 条 件 [$CX)19 二 1] 一 a 而 定 . 例如 ,到 
随机 化 检验 
Hx) 一 人 中 之 om 
也 可 取 非 随机 化 检验 
0， Oe xn EE 


$x} 一 
1， 5 < Xxrm < 
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由 于 在 原 假设 有 : 8 二 1 成 立时 ,了 一 和 的 阁 谋 阵 数 为 p() 二 nf 100 
< , 故 由 了 [8 1 一 1]-==a 推 得 ,ce 一 Yi 一 ea. 显然 ,后 一 个 非 随机 
化 检验 


站 自 < < 好 | 一 站 
1， I a < 由 
较为 公理 ， 
如 果 瓜 此 例 中 的 备 择 假设 改 为 瑟 , : 8 一 (9 二 1), 其 MPT 如 和 何 ? 
习题 3. 3 将 讨论 这 个 问题 ， 
如 混 原 假设 和 备 择 假设 分 别 为 五 0 一 矶 和 8 一 页 (有 全 负 》， 


区 


则 可 以 通过 变换 3 一 贡 , 将 这 个 假设 检验 问题 归结 为 上 面 所 述 的 情况 . 
其 非 随 机 化 检验 为 
5 = 0 OywT HI—e 
1， Yl 一 站 所 To TH 


Tiny 
其 中 yw 一 max ty yo 一 在、 
0 


例 3.4 设 站 二 (CX, , 太 ) 是 来 自 党 松 分 布 族 !:P(4) :24>0} 的 样 
本 ,考虑 如 下 的 检验 问题 ; 
原 假设 豆 ,: 4 二 1 对 备 择 假 设 Hi ;4 一 A(% 1) 
取水 平 为 a(0 过 a<1). 构造 似 然 比 统计 量 
TI prsa) 
4 一 本 = CANE expi— (Hh ~— 1)} 
Ll agesl1》 


MGr) 关 于 了 = > 去 严 格 单调 上 升 .根据 N P 基本 引 理 ,水 平 "一 
0.05 的 MPT 检验 函数 满足 条 件 

1 ， 了 

0， Tk 
在 4 一 10 时 ,车 原 假 设 恕 。: 4 二 1 上 成立,T~POD). 则 由 (3.6) 和 (3.7) 
两 式 知 , 起 六 二 15. 则 检验 函数 为 


B(x) 一 
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了 To 15 
$x) = - T=15 
0， T < 15 
同 便 3.1; 由 水 平 a==0.05 算得 -= 0.036. 这 个 检验 与 放 的 具体 数值 
无 半 , 只 查 求 为 盖 人 就行 了 . 
上 述 三 例 的 MPT 检验 画 数 都 仅 依 赖 于 充分 统计 量 , 而 这 正如 定 
理 3.1 的 完 分 性 原则 告诉 我 们 的 .车 实 上 ,可 以 基 十 充分 统计 量 ,而 不 
是 样本 构造 似 然 比 统计 量 . 这 样 求 得 的 检验 函数 仍 如 上 上 面 所 述 的 . 
关于 MPT 还 有 一 个 性 质 , 它 在 下 一 节 的 定理 的 证 明 中 将 要 用 到 . 
定理 3.3 设 %z) 是 定理 3.2 中 水 平 为 的 最 沉 势 检验 函数 , 则 
下 和 0 又 设 0<a<1. 则 除了 疡 (zi 一 疡 (zi 太 )a.e. [LA 外 , 必 有 
Es $CX) Sa. 


证 明 : 令 和 (x) 三 a. 显然 ;加 (zr) 是 水 平 为 a 的 检验 . 因为 $(7) 是 水 
平 为 的 最 优势 检验 晒 数 , 故 Es $C(X) 宇 Eo 各 (XX) 一 .在 0 之 a<<1 时 ， 
简 若 Fs 8 一 a 则 而 (2) 寺 a 也 是 水 平 为 a 的 MPT. 由 定理 3.2 知 ， 
则 一 定 存 在 常数 天宇 0, 使 得 和 Cr) 满足 (3.11D) 式 [a. ce. [而 0<a< 
1, 故 在 集合 1z :plr;9)>0 或 plx; 负 ) 盖 0} 上 

PCrB) = RR plr:d)a.e. Le] 
由 于 p 是 概率 密度 、 上 骸 此 天 一 1, 即 ptr; 如 ) 二 p(xriB.2a.e,[ 上 aj. 证 毕 ， 
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$ 3,3.1 一 致 最 优势 检验 


美 十 简单 原 假设 对 简单 备 择 假 设 的 检验 问题 . N-P 基本 引 理 给 出 
了 令 人 满意 的 回答 .但 是 ,在 实际 疝 题 中 ,往往 出 现 的 是 复合 假设 的 特 
况 , 这 时 最 优 的 标准 是 什么 ? 

定 久 3.7 设 ( 先 , 币 , 多 一 1Ps: 9€@})) 为 一 参数 统计 结构 ,考虑 
检验 问题 (@,,B81). 设 $Cx) 是 水 平 为 a 的 检验 . 如 果 对 任意 一 个 水 平 为 


§ 3. 3 一 致 呈 优势 检验 *。183 。 


4 的 检验 办 (x), 都 有 

Es p(X)] Eh(X)], YOED, 
则 称 检验 $x 是 水 平 为 a 的 一 至 最 优势 检验 , 记 为 UMPTtUniformly 
Most Powerful Test). 

在 某 些 特殊 的 情况 下 ,UMPT 可 以 直接 从 N-P 基本 引 理 推出 ;但 
要 利用 下 述 的 结论 ， 

引 理 3.4 设 多 [Z) 是 (ay 他。 ,全 检验 ,加 0 是 2 的 子 集 . 如 果 $Cr) 
是 (ea ,BiD) 的 UMEPT , 则 下 zz) 是 (ayBo 他) 的 UMPT. 

证 明 :必要 性 可 从 UMPT 的 定义 看 出 . 现 让 其 充分 性 . 

如 果 员 4z) 是 任意 一 个 Ce 是 人) 检验 , 则 有 下 由 (7) 袜 :as 有 如. 
所 以 和 (zr) 也 是 fa,Bw;B1) 检 验 .由 于 下 zz) 是 (a,Bo Bi 的 UMPT， 则 
应 有 

Fo $tX)] EttX)], 和 有 生生 
这 表明 gz 是 (ase@u:B@i) 的 UMPT., 证 毕 、 

引 理 3.5 设 有 Wiz) 是 (a, 母 :加 检验 . 则 gz) 是 (ay 四 和 砂 ) 的 
UMPT 的 充 要 条 件 是 ,对 每 一 个 外 后 轩 gz) 是 (ea Go 页) 的 MPTI- 

必要 性 和 充分 性 可 从 UMPT 的 定 交 看 出 - 让 明 蜂 . 

定理 3.6 设 %z)? 是 (a,@o,B) 检 验 . 假如 对 某 个 负 皇 区 和 对 每 
一 个 有 EE 加 ,pCr) 部 是 tay {0}) (站 的 MPT. 风 gr) 也 是 (ay 加 oo, 纯 ) 
的 UMPT. 

这 个 定理 是 引 理 3. 4 和 3.5 的 推论 ,证 明 略 . 

在 例 3.2 中 ,由 N-P 基本 引 理 己 求 得 简单 原 假设 互 。: w=0 对 简 
单 备 择 假设 百 ,: pm 一 后 (0 的 水 平 为 wa 的 MPTH&z) ,其 拒 物 域 为 


太一 位， 5> 这 个 检验 与 目的 具体 数值 无 关 , 只 要 求 n>0. 由 
2 


于 原 假 设 及 ;: yk 一 0 成 立时 ,Eog( 外 ) 二 ,并且 忆 于 (xz) 的 势 函数 
ECF) 一 EqCX) 晨 px 的 严 增 阔 数 , 则 在 产 委 0 时 ,Ep(X) 寺 Eo$(X) 二 a. 
所 以 站 x 是 原 假设 日 。: PS 委 0 对 备 择 假设 HH : pz0 的 水 平 为 a 的 检 
验 . 根据 定理 3.6, 这 个 检验 节 zc) 是 五 i 和 0 对 五 :Am>0 的 
UMPL., 
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这 个 例子 告诉 我 们 ,如 果 简 单 原 想 设 对 简单 备 拌 假 投 的 检验 问题 
的 MPT 不 依 整 于 备 择优 设 的 自体 数值 , 则 可 适当 扩大 备 择 假设 ,而 当 
势 函 数 是 单调 函数 时 ,也 可 适当 扩大 不 假 设 ; 这 样 就 可 由 MPT 获得 
UMPT. 这 就 扩大 了 N-P 基本 引 理 的 应 用 范围 . 例 3.4 也 有 类 似 的 结 
果 , 它 是 例 3.1 考虑 的 检验 癌 题 的 UMPT. 例 3.3 的 检验 阔 数 训 x)( 见 
(3.14) 式 ) 似 售 赖 于 铅 , 事 实 上 这 个 检验 函数 可 等 价 地 表示 为 


gl ) 人 了 wT 一 站 
Xx) -一 
0, OT Yl- a 


它 与 外 的 具体 数值 无 关 , 只 要 求 吕 证 1 就 行 了 .所 以 ;与 例 3.2,3.4 一 
样 , 例 3.3 也 有 类 似 的 结果 . 它 是 原 假 设 H,: 8 所 1 对 备 择 假设 HH :8 
>1 的 UMPT. 

一 般 来 涪 , 对 于 复合 假设 检验 问题 ,MPT 的 上 er 依赖 于 备 择 假设 
中 的 # 值 , 则 UMPT 不 - : 定 存在 .那么 在 什么 情况 下 在 在 呢 ? 在 什么 情 
况 下 不 存在 昵 ? 下 面 将 引进 单调 似 然 比 以 及 单 参数 指数 型 分 布 族 的 概 
念 ,然后 就 下 列 几 种 检验 问题 进行 讨论 : 

(C1) 原 假 设 五 ，: BE 对 备 择 假 设 五 : 的 >; 

”CD 原 假 设 恕 , : 9 由 对 备 择 假设 万 | : 9<0; 

(下 原 假设 五, : 9 一 册 对 备 择 假设 五 :9520 

《mW 原 假 设 百 : : 0 寺 拓 RS 对 备 择 假 设 万 | :8 或 9 

CW 原 假设 互 ; : BE 页 或 90 对 备 择 假设 Hi : 站 天 020. 
检验 问题 { 1 7 和 (IJ) 称 为 单 边 假 设 检验 问题 ,而 检验 辣 题 4 下) 《E > 和 
CVYD 称 为 双边 假设 检验 问题 .首先 寻求 单 边 假 设 检验 问题 的 UMPT. 
这 需要 引进 单调 似 然 比 的 概念 . 


§3.3.2 单调 似 然 二 


定义 3.8 设 14plrs 有 :9E 呈 是 含有 实 参 数 2 的 概率 密度 族 ,其 
中 总 是 实 直线 上 的 一 个 区 间 . 如 果 存 在 实 值 统计 量 了 (XX) ,使 得 对 人 在意 
的 如 二 8,, 都 有 

(1) 概 率 分 布 P, 与 Pa 是 不 同 的 ， 
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(2) 似 然 比 M(z) 一 2225 纪 是 了 (z) 的 非 降 函 数 (或 非 增 画 数 ), 册 


称 概率 窗 讼 恋 (plx; 和 办: 8EB} 关 于 T(x) 具有 非 降 ( 或 非 增 ) 单 调 似 热 
比 , 单调 伺 然 比 简写 为 MLR (Monotone Likelihood Ratio》, 

单 参数 指数 型 分 布 族 

PIO = eexp (QD, Tr)} + hr) (C3. 15) 
其 中 ct 外 汪 0. 假设 外 (0) 是 686 的 严 增 冰 数 ( 或 严 碱 函数 ). 则 在 名 二 岳 
时 ,其 似 然 比 


ACT) 


Pg = 8 « exp{[QCO,) 一 QO + Ta)) 

是 Z(t) 的 严 增 明 数 ( 或 严 闫 函数). 故 单 参数 指数 型 分 布 族 (3, 15) 关 
于 Tcr) 具 有 非 降 t 或 非 增 MLR. 这 里 的 了 (X) 是 充分 统计 量 . 二 项 分 
布 族 , 俯 二 项 分 布 族 , 浪 松 分 布 族 , 正 态 分 布 族 ( 均 值 已 知 ,方差 未 知 或 
均 秆 未 知 ,方差 己 知 的 情况 ) 和 指数 分 布 旋 , 以 及 来 自 这 些 分 布 族 的 样 
本 分 布 族 部 是 单 参 数 指数 型 分 布 族 , 它 们 关 丁 上 其 充分 统计 量 都 具有 
MLR. 虽然 均匀 分 布 族 以 及 来 自 它 的 样本 分 布 族 不 尼 单 参数 指数 型 分 


布 族 , 但 姑 果 定义 与 一 oo, 则 均匀 分 布 族 以 及 来 自 它 的 样本 分 布 族 关于 


其 充分 统计 景 也 都 具有 MLR. 

下 面 的 定理 列 示 了 MLR 分 布 族 的 一 个 基本 性 质 . 

定理 3.7 设 概率 密度 族 {z(zr; 的 : 8E8CR}) 关 于 T(x) 具 有 非 
降 MLR. 车 业 (2) 是 + 的 … 个 非 降 函数, 则 Esp(TCX)) 是 8 的 一 个 非 降 
函数 

证 阴 ; 设 由 一 疡 , 令 

A= {tr prd) plrid)}, B= {rplrd) > plrsd,)! 

对 任意 的 x 毛 和 4 和 x 所 B, 有 


plxiid.) Peary) 
AC(XI) = pi) > 1， A(T) 一 BU OY 


因为 似 然 比 45z) 是 了 (zz) 的 非 降 画 数 , 则 由 Arz)ACz 可 以 推出 
了 (rr 由 于 间 ( 的 是 上 的 一 个 非 降 阴 数 . 所 以 内 古 (Cry) 六 
TCr)), 令 


1 
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a=inf{yT Cr) :TE 4 四 一 SUPIUWCT ITr yy :rE B} 
则 有 2 这 5. 从 而 
Es wT CX)) 一 Er pT (XY) 


二 jeercm) “ [BC 可) 一 plrsB) dt) 


> a | Lecri@) — p10)Jdp(z) 十 


5 | [pees0,) — prs0) dcr) C3. 16) 
由 于 
| [eczse) — plzs0)Jdp(z) = 0 


Un 


所 以 
上 [pes0) — pozi0) Jdp(z) = 一 | [pws0a) — pri0) Jdp(z) 


其 而 
Es 多 (了 (全力 — Eo pOT'CX)) 


a: [pcxs0 — plz; dn(r) 0 
内 


证 举 . 

椎 论 1 车 yt) 是 1 的 一 个 非 增 旺 数 , 则 Ej T(tX)) 是 8 的 一 个 
非 增 函数 ，; 

推论 2 如 果 概 率 窗 度 族 (pC(r; 间 : 8E8CR' 关 于 T(z) 有 具有 非 
增 MLR ,那么 它 关 于 (一 T(x)) 具 有 非 降 MLR. 出 于 在 gt 是 上 的 一 
个 非 降 通 数 时 ,yt 是 (一 局 的 一 个 非 增 函 数 , 所 以 sg(T(X)) 是 8 的 
一 个 非 增 冰 数 ;而 在 (tt) 是 z 的 一 个 非 增 函 数 时 ,Eog TCX)) 是 自 的 一 
个 非 降 函数 . 

在 概率 密度 族 {plzxi 扩 : 09E BCR}) 关 于 T(r) 具有 非 降 MLR 时 ， 
取 他 (一 上 ; 则 在 站 二 2 时 

Eo T(X) < Es TUX) £3.17) 


所 以 ;在 概率 密度 族 关于 YC(xz) 具 有 非 降 MLR 时 ,了 (和 7 的 均值 
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ETtX) 是 8 的 一 个 非 降 函数 . 对 任意 给 定 的 ;分别 在 2>o 或 ft 夺 
时 ; 取 站) 一 0 或 1， 则 在 品 过 时 ,有 
Ps (TOX) E10) 六 PTR Eto) (3. 18) 
所 以 ,在 概率 密度 族 关 于 了 tx} 具 有 非 降 MLR 时 ,Tt 芝 ) 的 分 布 函 数 
PT 是 2 的 一 个 非 增 函 数 . 
艾 如 ,随机 变量 真一 5 yp， 其 中 0<p<l 为 未 知 参 数 . 其 概率 密 
度 为 
各 
| 


这 是 单 参数 指数 型 分 布 族 . 由 于 QCpy=In| 了 ;| 是 志 的 严 增 函 数 ,所 


以 它 关 于 工具 有 非 降 MLR. 二 项 分 布 的 均值 下, 和 = 了 和 分 布 图 数 
PCX<Sz) 一 2  p”， (1 一 产生 "分 别 是 疡 的 非 降 和 非 增 函 数 . 事 
密 上 ,它们 分 别 是 产 的 严 增 和 严 降 国 数 ， 
又 设 并 一 (是 来 自 Peisson 分 布 总 体 更 一 (PIT AO} 
的 一 个 样本 .样本 联合 概率 密度 为 
六 (Cr =e “, exp {lnA * D1) * ， I[ (zx11)) 
这 是 单 参数 指数 型 分 布 族 . 由 于 @C4)= 二 lni 是 4 的 严 增 沙 数 ,所 以 它 关 
于 T(z) 二 > x 具有 非 降 MLR. 了 T 了 (X)~ PinX).T(X) 的 均值 


plrip) 一 (1 — p’" exp{In| 也 | |) 


1 


_ 和 
ET(XY 一 nA 和 分 布 函 数 PTCE)》 雪 站 一 > ac) 。 e “分别 是 4 的 


个 上 &! 
非 降 和 非 增 函数 .事实 上 ,它们 分 别 是 关 的 严 增 和 严 降 函数 . 

在 概率 密度 族 关 于 T(x) 具 有 非 降 MLR 时 ,如 果 考 虑 单 边 假设 检 
验 问 题 C 了 工 ), 则 (3.17) 和 和 (3.18) 两 式 种 表示 ;应 在 了 T(x) 的 值 较 大 材 拒 
第 原 假设 . 这 个 检验 方法 是 符合 人 们 直观 感觉 的 ,也 是 可 和 靖 的 . 下面 我 
们 将 证 明 , 它 是 UMPT. 


3 3.3.3 单 边 假设 检验 
定理 3.8 设 单 参 数 慨 率 密 度 族 (p(xz;) : 6E BCR} 关 于 实 值 统 
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计量 了 (z) 有 具有 非 降 MLR, 则 关于 单 边 假设 检验 问题 ( 上 )， 
(1 存在 水 平 为 ea 的 UMPT 的 检验 函数 


1， 了 (CT ee 
$CTET)) 一 | 了 人) 一 下 (3,19) 
0, T(x <re 
其 中 常数 r(C0sr 和 1 和 < 由 下 式 袜 定 
Es #(T(X)) = a 《3, 20) 
(2) 这 个 检验 的 势 胃 数 


gC0) = Esg(T CXY) 
是 非 降 的 , 旦 在 集合 12: 0<g(9)<1} 上 是 严格 增加 的 . 
《3) 在 一切 使 得 Ewg(X7? 一 a 的 检验 函数 中 ,由 C3.19) 和 (3.20) 两 
式 所 确定 的 恰 验 旺 数 g%TIz))， 使 得 对 任意 的 ge 名 ECXE) 都 达到 最 
小， 
证 明 : 先 证 明 (1). 考虑 简单 愿 假设 互 。: 8 一 86, 对 简单 备 择 假设 
五 : 8 二 各 (名 六 抽 ) 的 检验 问题 . 由 N-P 基本 引 理 知 ,应 在 似 然 比 统计 


量 XCz) 一 人 如 名 | 比较 大 的 时 候 , 扰 绝 原 假设 由 十 A(x) 是 T(z) 的 非 


降 函 数 ,所 以 在 T(z) 比较 太 的 时 收 , 拒 绝 原 假设 . 为 此 ,我 们 采用 形 如 
《3. 19) 式 的 检验 函数 $8CTCz)). 用 类 似 于 定理 3.2 的 证 时 方法 可 以 知 
道 , 满 足 (3. 19) 和 (3. 20) 两 式 的 检验 内 Ttz)) 是 存在 的 , 具体 地 说 ,在 
了 T(z) 为 连续 型 随机 变量 的 时 收 ,$cTCz)) 是 非 随机 化 检验 ,其 拒 弟 域 
为 全 = {T(x 之 cy yc 由 Po {1T(X) 之 c} 一 a 确定 . 在 74(X) 为 离散 型 随 
机 变量 的 时 候 ,c 由 Ps {TC(X)>e) 太 a 所 Pe Tc) 确定 ,而 > 一 
a—Pe {T(X >] 
Pe {TAY =e} 
在 了 (zx)==e 时 ,假设 4Cx) 二 上 由 于 (x) 是 7 了 (x) 的 非 隆 函 数 , 所 
以 


{rt ACE TRICEC {rT T(r)} < re} 
{ri ACT) Tk) CC {TT Tre 
因而 铀 足 (3. 19) 式 的 检验 而 工人 (zi 必 渍 是 (43,11) 式 . 检验 起 了 (xz)) 满 
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足 (3.20) 式 ,也 就 是 狂 足 (3.10) 式 .从 击 由 NE 基本 引 理 知 : 满 足 
《3. 39) 和 (3. 20) 两 式 的 检验 # 久 了 T(z)) 是 该 简单 假设 检验 问题 , 妃 ，: 8 
二 BB 对 有 万) 9 一 8 和 的 水 平 为 & 的 MPT. 岂 于 检验 内 TCz)) 与 
上 无 美 ,只 要 求 吕 全 页 ,所 以 由 引 理 3.5 知 , 刘 了 rr 也 是 五 :0 一 如 
对 五. : 9> 负 的 检验 问题 的 水 平 为 & 的 UMPT. 

由 于 了 T(z)) 关于 了 rz) 非 降 , 则 据 定 理 3.7 可 知 , 势 范 数 g( 人 一 
Esp (TCX)) 是 8 的 非 阶 冰 数 . 故 在 8 夺 坊 时 ,Exp (TCXD) 扫 
Es${ TS 一 4 所 以 对 于 原 假 设 五 。: 0 名 ,4 了 T 了 (z)) 是 水 平 为 a 的 
检验 . 则 据 引 理 3.4 可 知 , 由 (3.19) 和 {3.20) 两 式 确定 的 检验 函数 
四 (zz 是 单 边 假设 检验 问题 瓦 。: ps 加 对 五 | : 98> 多 的 水 平 为 a 的 
UMPT. 结论 017 成立， 

(2) 的 证 明 . 我 们 已 经 证 明了 , 势 晒 数 g(9) 一 Es#{ TCX)) 是 人 的 非 
降 函 数 . 接 下 来 证 明 , 它 在 集合 {8: 0<Zg(9)<1} 上 是 严格 增加 的 . 由 
N-P 基本 引 理 知 , 碎 T(x)) 也 是 态 s。: 0 一 遇 对 五 | :0 一 让 (有 由 人 > 仙 ) 的 水 
平 为 xx 二 Es $14TCX)) 的 MPT,. 则 在 0<m<s1 时 ,由 定理 3.3 知 ， 
Es$(TEX)) ea 所 以 在 集合 19:0<gt9)<11 上 上 ， 势 函数 g (9) = 
Esgt 1tX)) 是 严格 增加 的 . 结论 (2) 成 立 . 

(3) 的 证 明 . 考虑 简单 原 假 设 万 。: 8 二 90。 对 简单 备 择 假设 H; : 8= 
8 大 一 及 的 水 平 为 ae 二 1 一 a 的 检验 问题 . 由 NP 基本 下 理 知 ,我 们 在 


似 然 比 统计 量 MKz) 一 2 3 ia] 比较 天 的 时 候 , 拒 绝 原 假设 . 由 于 9, 二。， 


所 以 MKz) 是 了 工 局 因此 我 们 在 了 4z) 比 较 小 的 时 想 , 拒 忽 原 
假设 . 用 类 似 于 (1) 的 证 明 方 法 可 以 知道 ,#5" (7 了 Cry] 二 1 一 入 T(x)) 是 
五 。: 9 二 后 对 Hi: 8 二 如 (如 之 后 ) 的 水 平 为 a" 二 1 一 a 的 MPT, 其 中 # 
(T(x) 由 (3.19) 和 (3. 20) 两 式 给 出 . 因此 $* (T(r)) 是 在 En$(X) 护 a* 
的 条 件 下 ,使 Eog(X) 达 到 最 大 . 从 面 由 (ZT)) 是 在 Eo 玉 和 )22a 的 条 性 
下 ,使 E48(X) 达 到 最 小 , 由 于 名 是 小 于 如 的 任意 一 个 数 ,所 以 对 任意 的 
8 ,5(T(X) 是 在 Eo $2 之 ,当然 也 是 在 ,#5(X) 二 a 的 条 性 下 ,使 
Esg(X) 达 到 最 小 的 检验 法 , 结论 (3) 成 立 . 证 毕 . 
关 寺 这 个 定理 有 以 下 一 些 推论 . 
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推论 1” 在 定理 3. 8 的 条 件 下 ,考虑 

1) 检验 问题 态 ,: 8 一 页 对 百 | 3 信 > 抽 , 则 定理 3.8 的 结论 仍 全 部 
成 立 ; 

《2) 单 边 假 设 检 验 问题 (1 ),; 则 类 似 于 定理 3.8 的 结论 全 部 成 立 ， 
只 带 要 将 (3. 193? 式 中 的 不 等 号 政变 方向 # 

《3 检验 问题 五 。: 8 一 向 对 瑟 , : 6- 名, 则 推论 1'(2) 的 结论 仍 全 
部 成 立 . 

推论 2 设 单 参数 概率 密度 族 {ptri 匀 :DOEBSR)} 关 于 实 值 统计 
量 了 (zx) 具有 非 增 MLR, 从 而 它 美 于 一 全 (xz) 具有 非 降 MLR, 定 理 3.8 
及 其 推论 1" 的 结论 仍 全 部 成 立 ,只 需要 将 T(z) 换 为 一 T(z)， 

推论 3 单 参数 指数 更 俘 布 族 (3.14), 在 忆 () 是 8 的 严格 单调 函 
数 时 , 它 关 于 充分 统计 量 了 T(z) 具有 MILR. 由 定理 3.8 及 其 推论 1* 和 
2 可 以 知道 ,对 于 单 参数 指数 型 分 布 族 (3.15) 的 末 知 参数 8 的 单 边 假 
设 检 验 问题 ,都 可 以 找到 UMPT. 

推论 4 设 单 参数 概率 密度 族 (p(zrs :EBDCR} 关 于 实 值 统计 
量 T 了 (zl) 具 有 非 降 MLR, (3.18) 式 告诉 我 们 了 (CX) 的 分 布 函 数 
PATOX)EE) =1 一 PotT 了 CX)? 是 8 的 一 个 非 增 函数 . 现 由 定理 3.8 
(2) 可 进一步 推 得 ,在 集合 {; 0 之 PoCT zt<1 IT(X) 的 分 布 
函数 是 的 一 个 严 降 函 数 . 如 果 单 参数 概率 密度 族 关 于 实 值 统 计量 
T(z》 具 有 非 增 MLR ,与 上 述 相 类 似 的 结论 仍 热 成 立 ,只 需要 将 关于 
T(X) 的 分 布 函 数 的 结论 中 的 非 增 换 为 非 降 , 严 降 换 为 严 增 . 这 个 结论 
将 被 用 于 第 则 章 的 置信 区 间 ( 限 ) 的 问题 . 

例 3.5 若 有 信件 产品 ,其 中 含有 mm 件 不 会 格 品 . 今 从 中 不 返回 
地 随机 抽取 ” 件 进 行 检验 . 设 a 件 中 含有 xz 件 不 合格 剖 . 的 可 能 取 值 
为 Di 2 Iminkmsn), 文 服 从 超 有 几何 分 布 . 当 m 未 知 时 ,考察 超 几 何 
分 布 概率 密度 族 {1zb(Czsm :一 0 12 NM) ,其 中 
"| , NO— ”| 
PITHmY) = 工人 


图 


i 
nl 
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显然 ;此 概率 密度 族 不 是 单 参数 指数 型 分 布 族 , 因为 
Wi 全 一 1 
om | Tt RO 

pirim) 因 人 ~ 


后 |! 


mr 十 DIN 一 黄 一 术 汪 区 ) 
十) 


是 xz 的 严 增 削 数 , 所 以 此 概率 密度 族 关 于 T(z) 一 7 具有 MLR. 
考察 如 下 的 单 边 假设 检验 问题 : 
Ho:0 和 RnRmo 对 Hl:m 人 me N 
由 定理 3.8 知 , 此 检验 问题 存在 水 平 为 a 的 LUMPT .其 检验 旺 数 为 


1， Te ， 
IN 
(a — a) -| 
亚 
了 No mi" TT 
a nO—e 
0, XC 
其 中 满足 条 件 
Wl Wd i Mi 
加 
D3 |! 站 a 六 ‘I -5 守 一 
EE | Te 十 1 | 
I vm 


设 有 和 N 二 1000 件 产品 ,其 中 含有 mx 件 不 合格 品 . 今 从 中 不 返回 地 
随机 抽取 二 100 件 进行 检验 . 在 mn=10 时 ,考察 上 述 的 单 边 假设 检验 
问题 . 取 a 二 0.05. 得 阶乘 对 数 表 ,得 


[9 [9 

0 100| 99019001 

PO310) Lio 而 0 10007 一 0 3470 
100 


从 而 
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+ 192。 
| 10 ed 
ll 4399|1 10°100. | 
pll:10) 一 Woy sol PCO110) 一 0. 3894 
,100 
| 90| 
(2 | . 
p2110) = 一 i p1110) 一 0.1945 
1100 | 
四 2 
p3110) = oY - 一 3 " PC2110) 一 0.0569 
[100 
则 有 
四 990 | [2 | "990 
i 1507 Ti 让 ,54 郊 
之 oo 1 一 之 0 
| 15D 150 | 
一 0.0691 > 0.05 
四 1990 | 四 1 990 
总 1 人工 ‘150— 一 1 1 (150— 2 
A | 1000° 和 2 | 1000' 
150 150 | 
= 0.0122 < 0.05 
所 以 此 检验 问题 的 水 平 为 a 二 0.05 的 UMPT 为 
人 工 闻 4 
gr 一 40 6643， 工 一 了 
|。 江 < 
例 3.6 设 关 一 C 玉 ,," ,六 ,) 是 来 自 正 态 分 布 族 !N(0,0) :o>01 


的 样本 . 求 坟 , :对 1: 0 >03 的 单 过 假设 检验 问题 的 水 平 为 a 


的 UMPT. 翌 本 的 联合 密度 为 
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plrig') 二 【wa 一" -exp{ (一 2 3。 > 好) 
其 中 人 @(o 一 (一 20) :是 王 的 严 增 函 数 , 由 定理 3.8 及 其 推论 3 知 ， 
其 UMPT 存在 , 且 检 验 函 数 仅 依赖 于 充分 统计 量 了 () 一 > 大 ， 
拒绝 城 为 下 = {x :了 T(x) 守 c} ,其 中 < 由 Fs$C7(X)) 二 a 确定 ,在 = 
NI) = ). 
取 中 一 1 一 10 和 a 二 0.1. 该 UMPT 检验 的 折 绝 域 为 


[i 

四 ， 

W = {xr: Dx 15.09) 
i=1 


其 势 曙 数 gto*}) 的 图 形 如 图 3.2 上 的 粗 曲 线 所 示 , 车 令 T(x) 一 
>t 一世) 取 另 一 检验 的 拒绝 域 为 Wi ir :Ti(z)0f ， 好 -。 
Cn 一 1)}. 可 以 证 明 , 这 个 检验 也 是 该 检验 问题 的 水 平 为 a 的 一 个 检验 . 
一 1:n 一 ]0 和 a 二 0.1 时 ;其 势 函 数 gi(o) 的 图 撒 如 图 3.2 上 的 网 曲 
线 所 示 . 在 六 1 时 , 粗 曲 线 一 致 地 在 细 曲 线 的 上 面 ,这 正 是 定理 3.8 
.《1) 所 说 的 .在 天 一 [时 ,这 两 个 检验 的 势 汪 数值 部 是 0.1, 而 在 区 过】 
时 , 粗 曲 线 一 致 地 在 细 曲 线 的 下 面 ,这 正 是 定理 3.8(3)7 所 说 的 . 


.8B gr) 
El 


8 1 2 3 4 5 
图 3.2 例 3.6 的 两 个 检验 的 势 函数 辐 形 的 比较 
#3-3.4 双边 假设 检验 
对 单 参数 指数 型 分 布 族 , 双 边 假设 检验 冲 古 (VD) 的 UMPT 是 在 
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在 的 .但 一 般 来 说 ,双边 假设 检验 问题 (页 ) 和 CW) 的 UMPT 是 不 存在 
的 .看 下 面 的 鲍 子 . 
例 3.7 设 半 二 (Xi,…*,X,) 为 来 自 正 态 总 体 iN(p01) :一 co 所 
三 001 的 一 个 样本 . 考虑 原 假 设 万 , : pw 一 0 对 备 择 能 设 Hi : mn 关 0 的 观 
过 假设 检验 问题 .倘若 gz 是 它 的 水 平 为 < 的 UMPT. 由 于 (xz 
显然 是 该 和 从 验 问题 的 水 平 为 上 的 一 个 检验 , 则 有 
EXY EE, (X= A C3. 21) 
此 外 , 据 引 理 3.5,gr) 也 是 五 。: pj 二 0 对 五 py 一 ptpw 记 0) 的 水 平 为 


{Ce 
a 的 MPT. 则 由 例 3. 2 知 ,$Cx) 是 拒绝 域 为 仿 = | 7 | 的 一 个 


检验 ,其 势 画 数 gfp 一 下 太古 ) 一 由 Vn +， 一 U， 是 产 的 严 增 函 数 ， 
玻 在 上 0 时 ,EE,pCXN) 二 Ep 六 K) 二 a. 这 与 13.21) 式 相 讶 盾 . 所 以 ,该 双 
边 和 假设 检验 问题 不 存在 UMPT. 末 样 , 原 假设 五 。: 5 雪 9 扫 由 对 将 择 假 
设 百 :1 和 或 三 > 及 的 双边 假设 检验 问题 也 不 存在 UMPET, 这 里 的 
“不 存在 ”是 对 所 有 的 检验 函数 而 言 的 . 如 果 我 们 对 检验 函数 如 上 某 种 
要 求 ,例如 无 偏 性 ,那么 检验 函数 类 就 缩小 了 .下 一 节 , 我 们 将 说 明 , 在 
端 小 的 检验 函数 类 中 存在 UMPT.， 


§ 3.3.5 IN-P 基 本 引 理 的 推广 (一 ) 


要 解决 双边 假设 检验 问题 (CY) 的 UMPT 的 存在 性 问题 , 先 要 对 
N-P 基本 引 理 进行 推广 . 

定理 3.9 设 站 为 避 测 空间 (党 , 冰 ) 上 的 测度 , prt) ,p(tzr)"…， 
a (区 为 ( 庚 党) 上 zm 十 1 个 实 可 测 且 可 积 函 数 . 4.,… ,an 为 给 定 的 
mm 个 实 常数 . 如 果 存 在 检验 旺 数 #(z) 满足 以 下 两 个 条 件 ; 

《19) 若 有 mr 个 非 负 常数 下 is 使 得 

1， Polx) > YR pilx) 
多 (CD -| 


i=] 
总 ， Polx) < Sk; * pi) 
4 1 


(2) | $c) pIdr) = a 1m. 
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则 对 任 -满足 下 式 的 检验 应 数 $' (x)， 


[6° C0)» pr dz) Sts = lssm C3. 22) 
都 有 
[$0 «porydpr) > |$° C2) « paczydplz) 
证 明 ,定理 的 证 明 类 伏 于 定理 3.2 的 (2) 的 证 明 . 显然 有 


[pr 一 DR px) | [gz) — #° (4) 0 
i=L 


于 是 
| [$x) — $" Cx) dtr) 
= > . jar) [gz — $* Cr) d(xr) 
从 而 和 
aee " potx dant) 一 | Cry ptrydrntr) 
> 3 * |a 一 J#: Cx): p(x)di(r) \> 0 (3. 23) 
证 毕 . 可 


在 下 一 节 , 将 进一步 推广 N-P 基本 引 理 . 这 些 定理 中 的 结论 实际 
上 是 一 个 充分 条 件 . 类 似 于 定理 3.2 的 (17) 和 (3)? 的 存在 性 和 此 要 性 也 
是 可 以 证 明 的 -…. 

3.3.6 单 参数 指数 型 分 布 族 的 双边 假设 检验 问题 5 一 ) 

定理 3. 10 设 样 本 瑟 一 《Xi 服从 单 参 数 指数 族人 分布 
《3. 15) ,其 中 乡 为 实 参数 ,外 (用 是 有 的 严 增 函数 . 则 关于 双 过 假设 检验 


问题 4Y ) ,存在 水 平 为 af0<a<< 1 的 UNPT, 兵 除 验 函数 习 依 下 于 充 
分 统计 量 六 (> 形 如 
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1， Tr es 
名 (了 一 ] Tis Tr) = ei = 1,2 (3. 24) 
0, Tr) TU es 
其 中 常数 r(0 志 x 所 1) 和 ci 由 下 式 确 定 
Es $CT(X)) 一 Es $(T(XI) = (3.25) 
证 阴 : 从 7 Cc) 是 8 的 充分 统计 量 和 定理 3. 1 知 ; 最 优 检验 只 要 在 
由 TLCz) 所 构成 的 检验 函数 类 中 去 寻找 ,对 于 单 参数 指数 族 分 布 ,Tix) 
的 导出 分 布 族 仍 然 是 单 参 数 指数 族 分布 - 考虑 到 QO0) 是 8 的 严 增 孙 
数 . 为 简化 起 见 , 设 了 (7 的 密度 函数 为 
plrid) = elh) exXP{ ED sf} 下 人 C3. 26) 
其 中 ec( 的 汪 > 站 
先 考 虑 厚 假 没 五 。: 0 一 和 三 8 二 上 对 备 择 假设 百 :0 一 0 , (9 < 
< 有 的 检验 闸 题 . 定理 3. 9 启示 我 们 , 取 检 验 函 数 形 如 


2 
{1， pli;0,) > Dk - puise.} 
#(#) 一 和 (3. 27) 
Ds, 而 人 有) < Sg; » p(t:d.) 


i=1 


并 满足 条 件 
sz) - plsd dr =— [cx) plist ddr — a (3. 28》 
(3.27) 式 化 简 后 得 庆 


$CE) 有 aa 
rt 二 

lo, ee 
其 中 心 一 各 的 全 证 一 012. 则 B61<0<B 

倘若 41 和 us 都 是 负 的 , 则 检验 总 是 拒绝 的 ,其 势 油 数 担 等 于 1, 这 
与 水 平 <C0<e<1) 的 条 件 相 耶 盾 . 倘若 sa 和 as 中 ，- 个 是 负 的 ,而 另 
一 个 是 正 的 ,或 ai 和 a 中 有 一 个 为 9, 则 A " er! 二 a M e“*!' 是 严格 单调 
的 ,所 得 到 的 检验 如 (3.19) 式 所 示 ( 见 定理 3. 8, 单 边 假设 检验 ), 其 势 
函数 是 单调 函数 , 它 不 可 能 满足 (3. 28) 式 . 所 以 ,a, 和 as 必定 都 是 正 


83.3 一 致 最 优势 榆 蛤 :197。 


的 . 从 而 卡 ; 和 ;也 者 是正 的 . 故 定 理 3.9 的 一 个 条 件 :“ 诸 外 都 是 非 负 
的 “得 到 福 足 ， 


3 一 ca eta * er 


图 3.3 y= 二 41 * et 十 qs et 人 iD<as we 之 的 的 图 形 


由 于 页 < 天 0 一 和 :并且 ae 和 as 都 是 正 的 ,所 以 在 tt 一 十 ce 时,y 一 
dv el 十 ar et 十 cc 并且 0. 故 曲 线 了 一 < ee 十 ar。et 是 严 
格 下 上山 的 (此 图 3. 3). 则 存在 常数 < 和 cz, 使 得 (3. 24) 式 万 立 . 因此 ,由 
(3. 277 和 (3.28) 阿 式 确 定 的 检验 函数 就 是 由 !3. 247 和 (3.25) 两 式 确定 
的 检验 函数 ， 

因为 姜 利 点 都 是 正 的 ; 则 指定 理 3.9 知 ; 由 C3.24) 和 (3.25) 两 式 
确定 的 检验 $T(r)) (也 就 是 8(1)) 是 原 假 设 1 : 8 二 所 或 8 二 各 对 备 
择 假 设 玉 , : 8 二 而 (和 之 久之 抽 ) 的 检验 问题 的 MPT. 因为 $8(1) 与 岳 无 
美 ,只 要 求 让 三 吕 达 品 就 行 了 ,所 以 它 灿 是 原 伐 设 瑟 。: 8 二 外 或 8 二 中 
对 备 择 假 设 五 , :8 <2<2 的 检验 问题 的 UMPT1. 

为 了 应 用 引 理 3.4, 完 成 定理 的 证 明 , 即 让 明 # 芒 是 原 假设 五 :8 
所 0 或 8 由 对 备 择 假设 要 ;| : 巡 8 之 久 的 检验 问题 的 UMPT , 尚 需 
证 明 , 对 于 原 般 设 Tf : BO 或 8 汪 & 而 言 ,fp 站 是 水 平 为 a 的 一 个 检 
验 . 我 们 将 把 这 个 证 明和 留待 下 一 节 . 
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3 3.4 一 致 最 优势 无 偏 检 验 


$3.4.1 无 偏 检 验 


在 上 节 末 尾 , 我 们 结合 正 态 分 布 族 iNCa1) ;一 上 2 之 之 oo} 指出 ， 
原 假 设 77 : 二 0 对 备 择 假 设 HH : gy 关 0 的 双边 假设 检验 问题 5 下 ) 不 
存在 UMPT. 耻 面 对 这 个 例子 作 进一步 的 分 析 . 任意 选取 一 个 检验 函 
数 起) ,其 对 应 的 势 珊 数 gC) 二 Ed(X) 是 参数 上 的 函数 . 当然, 我们 
希望 在 备 择 假设 如 : w 天 0 成 立时 ,下 .#CX)， 越 大 越 好 . 因此 ,很 自然 
地 要 求 选取 的 检验 羡 数 #$(r) 的 势 师 数 E,#$t 芝 ) 除 了 且 有 性 质 ,Eo$(X》 
<& 外 ,还 应 共有 性 质 :RogXD)sap0 这 样 的 gr 就 称 为 无 偏 检 验 
级 数 . 如 果 在 所 有 的 检验 晴 数 中 无 法 找到 UMPT, 册 可 考 虚 在 无 怕 检 
验 函 数 类 中 去 找 UMPT. 

定义 3.9 设 点 zx} 是 原 假设 H。: 8EB 对 备 拌 假设 Hi :9E 加， 
的 检验 函数 , 萌 其 势 函 数 g (站 一 Esg( 革 ) 满 足 条 件 : 

(Da YED, 
BD a YOED, 

则 称 并 x) 为 水 平 为 a 的 无 偏 检验 . 

显然 ,水 平 为 = 的 UMPT 一 定 是 水 平 为 a 的 无 偏 检 验 . 

定义 3.10 在 检验 问题 (8@,,@) 中 ,如 果 存 在 - -个 水 平 为 a 的 无 
信 检 验 %zr) ,对 于 任何 水 平 为 上 的 无 偏 检验 而 (zy ,下 列 条 件 均 满足 

EgtX) | Ecdf (ti) EB, 

则 称 检 验 #(Cz)y 是 水 平 为 e 的 -- 致 最 优势 无 偏 检 验 , 记 为 UMPUT 
{TIniformily Most Powerful lInbiased Test). 


3 3.4.2 相似 检验 


如 果 励 偏 检 验 不 z) 的 势 函 数 Eog(X) 是 日 的 连续 两 数 , 则 一 定 有 
Edt =a, ET (3. 29) 
其 中 研 是 好 ,和 加 ,的 公共 边 异 . 
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定义 3.11 称 满足 (3. 29) 式 的 检验 由 zx} 为 边界 相似 检验 (Simiiar 
Test). 

令 本 中 , 硬 :"” 和 区” 分别 表示 所 有 
水 平 为 e 的 检验 ,所 有 水 平 为 = 的 无 仿 机 
检验 和 所 有 的 满足 (3. 29) 式 的 边界 相 
似 检 验 构 成 的 类 , 显然 ,有 二 再 ”并 
且 在 势 函 数 是 连续 函数 时 ,BC 守 名: 
它们 之 间 的 关系 如 图 3.4 所 示 . 其 中 雪 
表示 所 有 的 检验 函数 构成 的 类 . 

-此 来 说 ,构造 过 界 相似 检验 比 构 

造 无 六 检 验 更 为 方便 . 下 面 的 引 理 在 构 


造 UMPUT 方 面 是 有 意 关 的 . 
引 理 3.11 考 虚 原 假设 五 ,: 8 万 图 3.4 各 种 检验 函数 类 之 
@, 对 备 择 假设 记 | : 8E 8B 的 检验 问 问 的 关系 


题 . 设 每 一 个 检验 函数 的 势 郴 数 皆 为 如 的 连续 王 数 . 如果 $Cx) 是 水 平 
为 a 的 检验 函数 , 则 在 $x) 是 所 有 满足 (3.29) 式 的 边界 相似 检验 函数 
类 中 的 - 致 最 优势 检验 (UMPT) 时 ,$C(xz) 是 水 平 为 a 的 UMPUT. 

证 明 : 有 显然, 办 (zr) 三 a 是 边界 相似 的 检验 , 故 

Es $CX) EdhX)| =a, YOED, 

所 以 8.z) 是 无 偏 检 验 . 由 于 满足 (3. 29) 式 的 检验 隙 数 类 四” 包含 了 水 
平 为 的 无 偏 检验 函数 类 更 ”, 故 #%(z) 是 水 平 为 上 的 UMPUT. 证 毕 . 

由 定理 3.8 的 证 明 过 程 知 ,MILR 分 布 族 的 单 边 假设 检验 问题 的 
UMPT 就 是 一 致 最 优势 边界 相似 检验 . 


§ 3.4.3 N-P 基 本 引 理 的 推广 (二 》 


要 解决 双边 假设 检验 CE 和 (MD ( 见 人 3.3.3)? 的 UMPUT 问题 ， 
需要 对 N-P 基本 引 理 作 进 -~- 步 的 推广 ， 

定理 3.12 定理 的 条 件 和 上 z)7 同 定理 3.9, 只 是 常数 让 可 
以 取 负 值 . 则 对 任 一 满足 下 式 
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js (了 六 (rd = et = ly 
saymceodukz) = js 【交互 JP 


定理 的 和 证明 完全 类 似 于 定理 3.9, 只 是 53.23) 式 中 的 最 后 一 个 不 
等 号 要 改 为 等 号 , 证 毕 . 

同 定理 3.9 后 的 说 明 , 这 些 定理 的 结论 实际 上 总 -个 充分 条 件 . 类 
似 于 定理 3.2 的 (1) 和 (3) 的 存在 性 和 必要 牲 也 是 可 以 证 明 的 中 . 

现 回 到 $3.3.65 中 定理 3.10 的 证 明 . 我 们 已 经 让 明了 ;存在 满足 
(3.24) 和 和 (3,25) 两 式 的 检验 函数 #81), 它 是 原 息 设 177 ; 8= 生 或 8 二 如 
对 备 择 假设 1 ;二 的 检验 问题 的 UMPT. 为 了 应 用 引 理 3. 4， 
完成 定理 的 计 明 ,其 证明 #t2) 是 五 。: 8 和 或 90, 对 [i :人 0 本 
的 检验 问题 的 UMPT, 尚 需 证 明 , 对 于 原 假 设 HH: 88 或 8 注册 而 
言 :#( 是 水 平 为 < 的 -- 个 检验 . 为 此 任 取 交 二 8 ( 若 取 普 >> 多 ,可 同样 
处 理 ), 考 虑 永 假 设 Fs: 9= 抽 或 2 一 员 对 备 硅 假设 I : 9 一 8 的 检验 
问题 . 如 果 存 在 ,和 ', ,使 得 


1， PEI) 人 YA (人 有) 
1 — #7) 一 和 (3. 30) 
0， PCF) < Pk pltsh) 
T 一 1 
则 由 Es [i 一 $8 二 E01 一 厅 T)j 二 1 一 &; 以 及 定理 3. 12 知 
Esll — $7T)] Er (T)Y=1-a 
其 中 ,人 二 :一 a 从 而 了 8) 执 w 这 说 明 , 对 于 原 假设 五 。: 0 
或 9 多 而 这 :gt 是 水 平 为 上 的 -- 个 检验 . 若 找到 使 得 (3. 30) 式 成 立 
的 坟 ， 和 大 。 则 定理 3. 10 就 证 毕 了 . 
下 面 寻 找 使 得 (3. 30) 式 成 立 的 上 志和 所 sz 由 (3.24) 知 
0 人 zt < ec 或 了 人 
0， Clty 
把 它 与 (3. 30) 式 进行 比较 .由 此 可 见 , 关 和 下 :应 满足 条件 ， 
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pV) > DR pO) < 或 {> (3. 31) 
2 

PE TO pO res (3, 32) 
于 一 上 


所 以 在 上 一 cl 和 二 cs 了 时 ,p(t 二 > Re pitis9:). 从 而 有 下 列 方程 
i=1 
组 
fe, = Rl pcr) TT ks pleisds) 
pleest)y = Ei plrsst) TR preasts) 
其 中 各 cs 已 因 ,各 ; 未 知 . 解 此 方程 组 ;得 到 由 | 和 二 :的 什 . 它 


们 分 别 是 
[ge ef 好 ) ， exp{# «a 二 B+ Cat 一 expi 十 后 ci 
eB) exp{8 eo 二 es) exbi ci Bd :cl 
pr 2 ) exp{ 和 "ci 十 有 ci 一 expi rT oe 
2 


cB) exp{ el 二 BB est 一 sxbt es Bc} 

(3. 33) 
由 于 六 之 近 B 和 ccea 所 以 
Otc) om et de = oe) >0 
Ce = co 
CO) te) (Pc) 
因此 上 1 计 0,, 二 0. 令 


有) 十 是 (ti 
了 ptt) 一 


(让 7 8 ， 
其 中 心 一 已，。 D3>0,0.=k , 。 < 一 9 F068 


六 0; 昌 5 过 刘 t==c 或 cs 时 ;yy 一 41 * er 十 a ve 一 1 

曲线 y 二 a :ec%t 十 as， e%' 是 单 峰 的 . 自 峰 质 起 向 石 ( 即 当 上 十 co 
时 .y 一 一 ce; 疝 左 5 即 当 上 > 一 2 时 ]yr0. 3 一 ae 十 da efD< 有 
<2:ai>orax<0) 的 图 形 由 图 3.5 给 出 .由 此 可 见 、 


EB] 
dl » EY’ ds es 


2 
POY DR PESODEL > a er 二 dere 或 t> 
zi 一 1 
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pltsd ) < Dk * plt;0.}1 < 好 1 et! 十 Cz etree tc 
i=1 


所 以 ,使 得 (3, 31) 和 (3. 32) 两 式 ,中 使 得 (3.30) 式 成 六 的 部 | 和 及 措 
到 了 ,如 (3. 33) 式 所 示 . 定理 3.10 证 毕 . 


图 3.5 y= es 二 ar ei(0<b bora 之 Oa 人 的 图 形 


$3.4.4 单 参数 指数 型 分 布 族 的 双边 假设 检验 问题 (二 》 


定理 3.13 设 样本 天 = (Xi…， 2 服从 单 参数 指数 族 分 布 
{3. 15), 其 中 8 为 实 参 数 ,Q@( 人 站 是 8 的 严 增 函数 , 则 类 十 原 假 设 五， :六 
9s 对 备 择 假设 五 ; : 8< 或 > 的 双边 假设 检验 问题 (NW ), 在 
在 水 平 为 ax(0<a<17> 的 UMPUT, 其 检验 函数 为 
1 ， T(z) 之 或 T(x) > 
BT = TO) = eni= 1,2 (3.34) 
0, CIT) 
其 中 党 数 x(t0Sr; 入 1) 和 和 ci 由 下 式 确 定 
Es $CT(OX)) = Es $CT(X)) 一 (3. 35)、 
证 明 : 同 定理 3.10, 我 们 仅 在 由 T(z) 所 构造 的 检验 消 数 类 中 去 找 
最 优 检 验 , tr) 的 分 布 密度 函数 是 (3. 26). 先 考 虑 原 假 设 五 。: 89 一生 
或 3 一 外 对 备 择 假 设 瑟 , :8 二 向 ,其 中 扣 过 所 之 抽 ( 阁 各 之 反之 ;可 同样 
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处 理 ), 受 定 理 3.9 和 3. 12 的 启示 ,; 取 检验 函数 形 如 


1， PUiD) > DV + pi0) 
$1) 一 (3. 36) 
0， psd) < Dk plisd) 


并 满足 条 件 (3, 35) 式 . 化 简 后 得 
$1 = 二 dl * et 二 ase < 
0, a eh a er > 1 


Ek. ein 
其 中 a; 二 b= O37 =1,2. 则 0<5. < 
3 


倘若 a 和 a; 都 是 负 的 , 则 检验 总 是 拒绝 的 ,其 势 函数 恒 等 于 1, 这 
与 水 平 为 wo<a<i) 的 条 件 相 矛盾 . 倘若 we 和 as 前 是 正 的 ,或 a 和 a 
中 有 -个 为 0, 则 2，e9' 十 aa。ei 是 严格 单调 的 ,所 得 到 的 检验 如 
(3.18) 忒 所 示 《( 见 定理 3.8, 单 边 假 设 检验 ), 其 势 函 数 是 单调 睛 数 , 它 
不 可 能 满足 (3. 3517 式 . 所 以 在 a 和 as 中 ,一 个 是 负 的 ,而 另 一 个 是 正 
的 . 俏 苦 ai<0,a: 盖 0 那么 在 y 一 aa et 十 as er0 时 ,由于 es et 
> a ee, 0h; 

y= a er gs bs" ese 

bear ey) a be dr en (二 ho 
这 就 是 说 ,在 :1 办 的 上 方 , 曲 线 y= 二 al*， er 十 4a; *，e%*' 是 上 升 的 . 所 得 到 
的 检验 也 如 (3.19) 式 所 示 , 其 势 函 数 是 单调 湛 数 ,该 检验 不 可 能 满足 
(3, 35) 式 . 所 以 ,a 必定 是 正章 ,而 as 必定 是 人 负 的 . 从 而 和 站 0,8s 芝 0. 
这 就 使 得 我 们 无 法 使 用 定理 3.9 去 得 到 UMPT ,而 只 能 使 用 定理 3. 12 
去 得 到 UMPUT.， 

在 0< Peim0as<0 时 ,根据 画 数 一 沾 ，e 十 ae 的 图 
形 可 以 知道 ,存在 常数 ec 和 cs 使 得 (3. 34? 式 成 立 . 四 此 ,由 53. 34) 和 
(3. 35) 两 式 确定 的 检验 函数 就 是 由 (3. 367 和 (3. 35} 两 式 确 定 的 检验 函 
数 , 据 定理 3.12, 由 (3. 34) 和 (3. 35) 两 式 确定 的 检验 函数 $CTCz)) (也 
就 是 $C) 具有 这 样 一 个 性 质 : 对 任 一 满足 Es $' (7) 一 Esp$* (TT) 二 a 的 
检验 消 数 (0 ,都 有 Fog(2)22Es$" CT). 由 省 检验 妆 1) 与 名 无 关 , 只 
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要 求 吕 达 所 殊 .或 人 二 就 行 了 ,所 以 由 (3. 34) 和 (3. 35) 两 式 确 
定 的 检验 $8 由 是 原 假 设 酉 , : 有 之 2S 册 对 备 择 人 柜 设 FH : 2<0 或 六 > 员 
的 双边 候 没 符 验 问题 的 一 致 最 希 势 地界 相似 的 检验 .为 了 应 用 引 理 
3.11 完成 定理 的 证 明 , 只 需 证 明 : 对 于 原 假 设 瑟 , : 让 各 8 之 呈 而 言 ， 
$2 是 水 于 为 a 的 一 个 检验 . 运用 与 证 明定 理 3. 10 相左 结论 完全 类 似 
的 方法 与 步 票 ,可 以 得 到 其 证 明 ( 证 明 过 程 从 略 ). 省 兽 证 毕 ， 
定理 3.14 设 样 本 区 二 (XXX,, 太 ;) 服 从 音 人 参数 指数 族 俘 布 
《3, 15) ,其 中 0 为 实 值 套数 ,Q@(8) 是 686 的 严格 增加 函数 , 则 关于 原 假 设 
HH : 8 一 外 对 备 择 假 没 Hl : 98% 的 双边 假设 检验 问题 CLI), 存 在 水 
平 为 at0<<a< 人 1) 竟 UMPUT, 其 检验 函数 由 (3.34) 式 给 出 ,其 中 的 常 
数 x;(0 叶 7 所 1) 和 ci 由 以 下 两 让 确定 
Es#$(T(X)) =a (C3. 37》 
Es [TX) *» $CTCX))] = a* Eo TX) (3. 38) 
证 明 : 同 定理 3.14. 我 们 仪 在 由 了 (zx) 所 构造 的 检验 外 数 类 中 去 找 
最 优 检验 .1 4.r) 的 分 布 密度 明 数 是 (3. 267， 
首先 证 明 , 原 人 很 设 五, : 8 一 加 对 备 择 假设 瓦 ，: 9 关 吕 的 任意 一 个 
无 偏 榨 验 #4 站 ) 必 满足 (3. 37) 和 (3. 38) 两 式 . 显 热 ,由 检验 蚂 数 #8(z) 的 无 
偏 性 可 知 ,其 势 函 数 g(9) 一 EegfT) 在 8 一 矶 处 达到 最 小 值 a. 故 g (8,) 
一 wo EBD 一 0 由 二 (8 一 w 得 (3.37? 式 .由 于 上 (0 一 Es$(T) 一 


|#e2 "ct0) " explo" CQ 所 以 


的 一 | ee 十 


[ge -cBY et exp{io sft) + hdrtt) 


= cy + EL$ET)] 十 ET » $CT)] 《3. 39) 


由 于 9 二 一 EsLTj( 见 习题 3.10), 则 有 


gC9) =— ET :FotoT)YI tT EaT «$e7)1 
从 而 再 全) 一 0 以 及 (3.37) 式 ,得 0 一 一 BLT :a 二 Ej * $gT)]，, 
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则 有 (3. 38) 式 . 
接 下 来 考虑 原 仿 设 Hs, : = 对 省 择 假 设 二 9 二 和 (和 尖兵 ) 的 
检验 问题 ,并 要 求 检 验 函 数 $8(2) 满 是 (3.37) 和 (3.38), 邑 以 下 两 式 


5) 。 而 (EECE》 = a 


BD t* pli di) = a: EgLT] 


定理 3. 12 启示 我 们 ,; 取 检验 函数 形 邵 
gt ) 位 plts0) > M pit30,) 二 i plriD,) 
下 一 二 
0， pli < 时 pi "ee Plt 
并 满足 条 件 C3. 37) 和 (3. 38) 两 式 . 化 简 后 得 
$0) 二 1 1 十 人 


0， 在 | 十 站 上 EN 


《3. 40) 


上 
其 中 心 = 1 8,. 


FF 述 不 等 式 两 边 , 厂 边 是 指数 昂 数 ,左边 是 钱 性 函数 . 悄 车 指数 曲 
线 y= 二 e" 与 直线 vy 二 a 十 as *'t 没有 交点 ; 则 指数 申 线 在 直 织 的 上 方 . 故 
检验 总 是 拒绝 的 ,其 势 函 数 恒 等 于 1, 这 与 水 平 a(0<<a<<1) 的 条 人 忻 相 艺 
盾 . 倘若 指 数 曲 线 与 直线 相交 一 点 , 则 所 得 到 的 检验 如 (3.19) 式 所 示 
{ 见 定理 3.,8, 单 边 假 设 检验 }, 其 势 函 数 是 严格 单 凋 函数 , 它 不 可 能 满 
足 (3. 38) 式 (为 什么 ? 见习 题 3.11). 所 以 指数 曲线 与 直线 相交 两 点 , 即 
存在 常数 c 和 ci, 使 得 (3.34) 式 戌 立 , 因此 ;由 (3.40), (3.37) 和 
(3. 38) 二 式 确定 的 检验 函数 就 是 由 (3. 34), 403. 37 和 (3.38)7 三 式 确 定 
的 检验 函数 . 

由 (3. 34) 3, 37)7 和 (3. 38) 三 或 确定 的 检验 听 数 #TCz) 交 (也 就 是 
$2 与 无关. 只 要 求 负 天 名 就行 了 . 据 定 理 3. 12, 该 捡 验 熙 数 #(1) 
具有 这 样 - :个 性 质 : 对 任 一 满足 (3.377 和 (3.3817 两 式 的 检验 阔 数 
$9 (0 ,部 有 Eo $CT) 之 Es $C(T), 车 取 $ C0) 二 a, 它 满足 (43.37) 和 
〈3. 38) 两 式 , 则 由 #() 上 共有 的 这 样 一 个 性 质 , 有 $1) 守 Ea $' (TT) 二 
ay 9 关 俯 ， 所 以 该 检验 晴 数 $8( 让 是 原 假 设 娘 , : 8 一 后 对 备 择 假设 五 ， 
: 2 由 的 一 个 无 偏 检 验 , 其 势 函 数 g (60) 二 Es#(T) 在 8 一 % 处 达到 最 小 
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秆 a. 叉 取 $8' 以) 为 原 假 设 吾 。: 8 一 对 备 择 假 设 已 , : 8 隆 负 的 任意 一 
个 无 偏 佑 计 , 它 满 足 (3. 37) 和 (3. 38} 两 式 , 则 由 #8) 其 有 的 这 样 一 个 性 
质 , 有 Ee$(T) 守 Es $8' (TY,Y 81 了 关 %, 所 以 该 检验 函数 gt 是 原 急 设 
五 1 8 一 名 对 备 择 假设 旦 | : 9 的 水 平 为 a 的 UMPUT. 定理 证 毕 . 

关于 这 个 定理 有 三 点 说 明 . 

1° 由 定理 3.10 和 3.13 的 证 明 这 程 知 , 单 参 数 指数 型 分 布 族 的 驱 
边 假 设 窒 验 问题 CY ) 的 UMPT 就 是 一 致 最 优势 边 罕 相似 检验 ;双边 
假设 检验 问题 (NN) 的 UMPUT 就 是 一 致 最 优势 边界 几 似 检验 , 而 关于 
双边 假设 检验 问题 (了), 由 定理 3.14 的 证 明 过 程 知 .其 UMPUT 就 是 
斯 有 在 边界 上 满足 条 件 (3.37) 和 (3.38) 的 检验 函数 类 中 的 一 致 最 优势 
检验 .上 研 外 ,如 本 节 前 击 所 述 的 , 单 参数 指数 型 分 布 族 的 单 按 假设 检验 
问题 的 UMPT 就 是 -- 臻 最 优势 边界 相似 检验 . 这些 结 论 将 被 用 于 多 
参数 指数 型 分 布 族 的 假设 检验 问题 . 

2 如 时 在 8 一 各 时 ,TCz) 的 分 布 关于 某 个 数 - 是 对 称 的 ,时 双边 
假设 检验 问题 ( 开 ?的 UMPUT 可 以 简化 为 如 下 的 形式 ， 

TT) TC) ro 二 全 
ATE)) 一 fr 一 六 十 他 (3. 41} 
0, rao— < T(r) rd 
当 其 中 的 常数 人 与 rt0sr 和 1) 由 下 式 
了 

确定 时 , (3. 37) 式 与 (3.38) 式 一 定 成 立 . 其 证 明 如 下 :由 了 (z) 的 分 布 
关于 六 是 对 称 的 可 以 推 得 

FagT)》 一 Po 二 一 有 十 Po 人 mm 十 人 十 

ro 一 十 全 
—2°: {PT Or m+rr PT=n =a 
《3.37) 试 成 并 .从 而 由 Es 了 TT 二 mo 以 及 Ea LT 一 ro)$(7 二 0 可 进一步 
推 得 
Es[T » $CT)]= Es [LT 一 ro)gT)] + ro Es gCT) 
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re=a*: ET 
《3. 38) 式 也 成 立 . 所 以 在 8 一 抽 时 ,如 果 了 (rz 的 分 布 关 于 某 个 数 ro 是 
对 称 的 ,那么 关于 双边 假设 检验 问题 CE) 的 LIMPUT 由 (3.41) 式 给 
出 . 
3° 设 荆 (z) 的 分 布 密度 函数 形 如 p(t 一 站 ,其 中 (2) 关 于 原点 对 
称 . 这 说 明了 x} 的 分 布 关 于 5 是 对 称 的 ; 即 对 任意 的 + 都 有 ,Pe(tT<8 
一 二 PT>8 十 r). 由 2? 知 , 关 于 双边 假设 检验 问题 (对), 只 要 取 mm 
一 0, 就 叮 得 到 形 如 (3.41) 的 UMPUT. 此 处 ,关于 双边 殷 设 检验 问题 
CN) 与 (YY), 也 有 类 似 的 结论 . 对 前 者 , 取 检 验 耳 数 形 如 
1， T(x) 之 入 一 5 或 Tr) 半 扩 十 攻 
$CT (TI) = 六 了 TY) 一 由 一 人 或 了 (Cr) 一 外 十 活 (3.42) 
0， TU) 二 从 
在 了 一 户 企 一 入) 时 ,有 荆 一 页 十 肌 一 产 革 一 生 ) ,并 及 对 任意 的 ea 有 Pol 了 T 
a 二 Pe 信守 0 十 a), 所 以 
ErdeT) =Pr (TT < 人 +P 人 8, 十 全 ) 十 
r ELPe(T 一 外 一 人 十 Po 一 记 十 及] 
二 Pa (tT 一 他 十 Pa( 了 六 太一 不 一 各 十 的 十 
rr [Po 人 一 册 一 们 十 Po 人 (一 有 二 外 一 及 十 分] 
一 Po (人 > 负 十 人 十 Po 人 了 < 写 六 人) 十 
”PalT = 8+ P (T=0 -0] 


=Es $CT) 
据 定 理 3.13 可 知 , 如 果 (3. 42) 式 中 的 常数 > 和 人 由 下 式 确定 
Ee $0T) = (或 Es p(T) = 0) (3. 43) 


则 由 (3. 42) 式 给 出 的 检验 了 阔 数 是 双边 假设 检验 问题 (N ) 的 UMPUT. 
类 伏地, 取 检验 函数 形 如 
1， 上 遇 一 <T(zy 二 四 十 弛 
TD 二 dr， 7TCz) 一身 一 全 或 TOzr) 一 页 十 作 
DOD， TH) 人 +6 
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其 中 的 常数 > 和 了 3 内 (3.43) 式 确定 , 则 据 定 理 3. 10 知 , 该 检验 函数 是 
双边 假设 检验 问题 (Y ) 的 UMPT. 

例 3.8 样本 六 一 人 Xp 来 自 正 术 分 布 族 :Ntp 1) 一 o 抒 
二 001, 基 虑 双边 假设 检验 问题 (7 天， p= 二 0 对 :x0;(2)H,: 
一 1] 委 Ap 二 1 对 瑟 王 一 ] 或 六 1;(39Ho: K-11 成 1 对 HI: 
一 1<P< 

样本 X 的 联合 密 诬 晒 数 

PXIOY = Cp) * EXP HT)! "htr) 
其 中 QC 一 2 是 pr 的 严 增 录 数 ,充分 统计 量 T 了 CX) 一 XN (pg. 1/n). 

关于 检验 问题 (1), 因 为 在 二 0 时 ,及 一 NN(0,1in) ,其 分 布 关 于 原 
点 对 称 . 由 二 述 2 的 结论 知 ,检验 函数 ( 科 的 拒绝 域 取 为 {x :元 安 一 少 
或 三 3 人 8) 他 由 下 式 确 定 

El[gcIY p=0=1i— Pi— AR = 0 a 
则 据 定 理 3. 14 知 , 检 验 问 题 () 的 水 平 为 a 的 UMPUT 的 拒绝 域 为 {x 
|| 守 1 Un 二 10 且 a==0.05 时 , 指 总 起 为 {x : | 二 | 实 
0.6198}). 其 执 画 数 的 图 形 如 图 3. 8(1) 所 示 . 

关 十 检验 问题 人 2), 因 为 充分 统计 量 过 一 MP la ,其 分 布 关 于 天 
对 称 , 别 由 上 述 3 的 结论 知 , 检 验 函 数 #$(7) 的 拒绝 域 取 为 {x 1 所 一 1 
一 仿 或 亏空 1 十 2) 全 由 下 式 确 定 

E[#CTY A 一 1 一 1] 一 下 (一 1 一 人 二 各 二 1 一 和 HK 一 1 一 
据 定 理 3. 13 知 , 这 是 检验 问题 (2) 的 水 平 为 a 的 UMPUT.n 二 10 且 @ 
二 0.05 时 ,6 由 下 式 确 定 

P{—1 ~ < < 十 Br 一 1 一 下 (10 6) 一 年 ( v0-2 一 全)) 
一 0.95 
取 v 10. 6 一 1.64,6 一 0.5186. 则 有 
Pi—1— < +ir=1}= (1.64) -中 (一 7 了 .8645) 
AR 日 ,85 
检验 的 拒绝 城 为 {x : [| 实 1.5186}, 其 势 瑞 数 的 图 形 旭 图 3. 6(2) 所 
未 ， 
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类 似 地 ,关于 检验 问题 (3), 取 检验 函数 #(1} 的 拒绝 域 形 如 {x :一 1 
一 6 和 x 款 1 十 人 .车 取 满足 条 件 
EC#CT}Y IF= 1]= PI— 1 一 Rl 二 =a 
则 据 定 理 3. 10 知 , 该 检验 为 检验 问题 (3) 的 水 平 为 a 的 UMPT.n==10 
县 a 一 0.95 时 ,6 由 下 成 确定 
并 一 十 人 lz 一 1 
= BAIO 6) 一 更 (vv10( 一 2 -6)) 一 0.05 
取 10 -8 一 ow 二 一 1. 64;8 二 一 0.5186， 则 有 
PI 1—< 人 Xl1+ir=1})= ®(— 1.64) - SB(— 4.6846) 
2 00. 5 
检验 的 拒绝 域 为 (zx : | 工 | 委 0.4814}. 其 势 函 数 的 图 形 如 图 3. 6(3) 所 


a- 


上 


一 了 0 1 A 
检验 问题 (1) 检验 问题 52) 检验 问题 {3) 


图 3.6 例 3.8 的 势 函数 的 图 形 


例 3.9 没 样 本 革 二 (X,Y) 来 自 正 态 分 布 族 { NN(0,0) :+ a> 
0}. 考虑 检验 问题 

(1) Ho: oo 或 wo, HH: alo os 

(C2) Ho: oo En, BH: oTr oo ; 


(3) Ho: oo:=~o, HH): oe. 
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求 问题 人 1) 的 水 下 为 a0 过 a 之 1) 的 UMPT; 问 题 (2) 和 和 (3) 的 水 平 为 a 
《0<a<1) 的 UMPUT. 
解 ;样本 XX 的 联合 窗 度 涵 数 
Pr) = clo) r expiry Tr)} 
其 中 龟 (o) 一 (一 2 是 呈 的 严 增 画 数 ,充分 统计 量 了 (和 一 2 KX? 
2 Met 这 说 明 TCX) /on). 
根据 定理 3. 10, 问 题 (1) 的 水 平 为 的 UMPT 的 拒绝 域 为 三 一 


:Tes} 其 中 的 ci 和 cs 由 下 式 确 定 
Pa ESTO) Ee) = Pa 和 TCR sc 一 < 


这 就 是 说 ,… 种 cs 由 下 式 确 定 


1 T(tA) 1 了 
Pa < rd< 二 熏 =“ 


国 此 c 和 由 下 两 式 确定 


人 5eCzlzdz 一 


| 次 (CrinMdr =a 


7 


其 中 六 (1) 表示 自由 度 为 的 丸 分 布 的 密度 男 数 . 

根据 定理 3.13. 问 题 (2) 的 水 平 为 a 的 UMPUT 贡 拒 绝 域 奴 全 一 
(rr 或 了 (zym2es 与 上 述 相 类 似 地 ,其 中 的 ce 和 cs 和 由 以 下 
两 式 确 定 


Pe 


), “ez lnde 1]—a 


闻 人 zloodz 一 1 一 上 


根据 定理 3. 14, 间 题 (3) 的 水 平 为 aa 的 UMEPLT8CO 的 拒 物 域 为 
配 ={zsTfrssecl 避 了 (Cr)ci 由 (3,.37) 式 , 则 有 
TOO) a | 


ce 全 | 


Ex[1 一 $C7)] 一 4 马 去 
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即 
xcelmdr = 1 a (3. 44) 


由 (3. 38) 式 得 E2[T$CT)]=a* ExzT. 由 于 Es 了 =n, 从 而 有 
Ez[T » 0 — $7)Y— no (1 — 0) = na0;* Ea[l— #$(T)] 


Es[| 误 一 "一 $07)]=0 
这 里 二 一 Xn). 网 有 


ot 
| AT— An) Kradr 一 C3. 45) 


con 


故 问题 (3) 的 UMPUT 中 的 cl 和 cs 可 由 (3.44) 科 (3.45) 两 式 确 定 . 另 
外 ,由 势 函数 5(c0) 一 1- |”, 光 (z|n)dx 在 一 吕 时 达到 最 小 值 , 椎 
得 等 式 


ln 一 a 全 "|=0 (C3. 46) 
则 问题 (37 的 UMPUT 中 ,ec 和 es 也 可 由 C3.44} 和 (3.46) 两 式 确 定 . 
由 (3. 44) 和 和 (3.45) 两 式 确定 ,或 由 C3.44) 和 和 t3.46) 两 式 克 定 c) 和 
cz 过 于 复杂 ,不 实用 , 常 简单 地 取 
C1 二 an) co tn) 


这 能 使 得 (3.44) 式 成 立 , 但 不 能 使 得 (3. 45) ,或 43. 46) 式 成 立 . 


3 3.5 多 参数 指数 型 分 布 族 的 假设 检验 


$33.5.1 多 参数 指数 型 分 布 族 


单 参 数 指数 型 分 布 族 的 单 边 和 双边 假设 检验 问题 ,基本 上 都 被 解 
决 了 .但 是 有 些 总 体 和 包含 两 个 或 两 个 以 上 的 未 知 参数 , 当 充 对 其 中 一 个 
未 知 参 数 敌 假设 检验 时 ,其 它 的 未 知 参 数 就 成 了 考 余 参数 。 一 般 来 说 ， 
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即使 对 单 边 假设 检验 问题 而 言 ,其 UMPT 也 是 不 存在 的 ,但 是 有 例外 
的 情况 。 例 如 .样本 半 二 (Xl,*…, 义 ,来自 均值 和 方差 蕴 末 知 的 正 态 分 
布 族 (N Cao : 一 ce 拒 pooyasz0)。 考 虑 关于 方差 富 的 单 边 假 设 检 
验 问 题 , (1) 原 假 设 五 , : 于 委 中 对 备 择 假设 | : 下 祝 o6; (2) 原 殷 设 
五 ; : 严 之 中 对答 搓 息 设 五 : <05， 这 时 均值 上 就 是 多 余 参 数 。 常 用 的 检 
验 是 x? 办 验 。 它 们 的 拒绝 威 分 别 为 {z ， > ) Cz: 一 这 和 Ce 一 1)} 和 
{x : >) Cr 一 下 8 Xn eo1) } Lehmann 和 Stein 在 1948 年 证 明 
了 :问题 (17? 的 六 检 验 是 UMPT ,但 问题 (2 的 大 检 验 不 是 UMPT, 问 
题 (2) 的 UMPT 是 不 存在 的 。 本 节 将 证 明 问 题 (2? 的 六 检验 是 
UMPUT. 

一 般 来 说 ,多 参数 指数 型 分 布 族 的 单 边 和 双边 假 浊 检验 问题 ， 
UMPT 是 不 存在 的 ,但 存在 UMPUT。 对 这 类 问题 斗 找 UMPUT 需要 
用 到 指数 型 分 布 族 的 有 关 人 性 质 。 

设 样本 下 服从 多 参数 指数 型 分 布 ,其 密度 函数 为 


点 
Peridr) 一 cf8sr》 rexp{O az) 十 Drie ll) y+ her) 
1 一 1 


《3. 47) 
其 中 日 为 被 检验 的 参 烙 ,fr= (por 为 多 全 参数 ,Dr ENCRt. 
著 参 数 空间 人 有 内 点 ;如 (UX,I《R))= (UCX),T (XY ,TCX)) 
是 参数 (8.r) 的 充分 ,完备 的 统计 重 . 据 定理 3.1 的 充分 性 原则 ,我 们 仅 
需 考 庶 基 于 CCX),T(X)) 的 检验 . CU ),T(X)) 的 分 布 仍 为 天 和 参数 
指数 型 分 布 .其 密度 函数 为 


是 
plutsdry = ct ,ry » exp {8 “于 十 Dr 。 | :hut) 
i=1 


在 TC(X) 一 t 的 条 件 下 ,U(X) 的 条 件 分 布 与 多 人 妹 参 数 r 无 大, 旦 为 单 参 
数 指数 型 分 布 

ptu|T = = 0 exp raw) h(n) C3. 48) 
由 此 ;和 杀 参 数 指数 型 分 布 族 中 的 假设 检验 问题 转化 为 单 参 数据 数 型 分 
布 族 中 的 假设 检验 问题 , 即 在 {xz ; 了 Cr)==1} 的 子 空间 上 .寻找 UMPT， 
或 UMPUT. 这 些 在 1(X)=t 的 条 件 下 最 优 的 检验 ,是 不 是 在 整个 样 
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本 空间 上 一 至 最 优 的 检验 ,这 基 我 们 还 得 讨论 的 问题 . 
XX) 的 边际 分 布 为 


下 
Plt) = ctr) exp | Dr | 
;一 1 


在 9 给 定时 ,TC(X) 的 边际 分 布 为 指数 型 分 布 . 令 (一 人 r: (0,T) 器 )， 
在 8 给 定时 ,着 空间 Gs。 有 内 点 ; 则 了 (XX) 是 参数 + 的 充分 ,完备 的 统计 
量 . 由 此 我 们 可 以 证 明 , 在 TtX) 二 zt 的 条 忻 下 时 优 的 检验 ,在 整个 样本 
空间 上 也 是 一 致 最 优 的 检验 . 


$ 3.5.2 多 参数 指数 型 分 布 族 的 假设 检验 


考 虚 单 边 或 双边 般 设 检验 问题 (了 ,-…,(Y )( 见 3.3.3). 设 原 概 
设 五: : 8E@; 备 择 和 假设 态 ; : 8E 如 . 令 T 是 8B, 和合 的 公共 边界 . 则 
症 仅 会 大 一 或 茵 个 点 , 在 8E€ 栈 时, 设 Gr 有 内 点 . 在 了 TCX) 二 + 的 条 柱 
下 ,基于 条 件 单 参数 指数 型 分 布 (3. 48), 著 $(u,1) 是 该 检验 问题 的 水 平 
为 «的 (条 件 )UMPT, 或 (条 件 )UMPUT, 则 可 泪 明 ;在 整个 样本 空间 
上 ,ga :69 是 该 检验 问题 的 水 平 为 a 的 UMPUT. 

由 于 在 了 (X) 一 上 的 条 件 下 ,%z 是 检验 问题 的 水 平 为 = 的 条 件 
检验 ,所 以 

Es$ CU, TOT = 9€0, 
从 而 
Es $ (UT) = Er {iEoLgU ,TIT | Ea, 8€ 8, 
这 说 明 #(u, 东 在 整合 样本 空间 上 ,也 是 该 检验 问题 的 水 平 为 a 的 一 个 
检验 . 设 $8' Cu, 丰 在 整个 样本 空间 上 , 定 检验 问题 的 水 平 为 a 的 任意 一 
个 无 偏 检验 . 对 于 指数 族 , 任 意 - :个 检验 的 势 函 数 都 是 连续 的 . 所 以 
Erg PT) 一 apgE 了 .从 而 在 3E 丝 定时 ,对 所 有 的 rEGr, 都 有 下，， 
{Erg 《CT 一 由 于 在 器 给 定时 ,了 T(X) 足 完备 的 统计 量 , 因 此 
在 2E 福 给 定时 
Es#’ (UTYIT = = a 

这 里 可 能 有 一 个 零 浏 集 B, 在 :EB 时 ;上 述 等 式 不 成 立 , 但 这 并 不 影响 
后 和 面 的 证 明 , 我们 不 入 假定 上 述 等 式 总 是 成 立 的 , 这 说 明 在 TT(X) 二 ft 
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的 条 件 下 ,基于 条 件 单 参数 措 数 型 分 布 (3. 48) ,8 (a,1) 是 该 检验 问题 
的 水 平 为 < 的 边界 相似 检验 ， 

普 先 考虑 单 边 假设 检验 问题 (1 },《 1) 和 双边 假设 检验 问题 CN )， 
CCV). 我 们 知道 , 单 参数 指数 型 分 布 族 的 这 些 检 验 问 题 的 UMPT ,或 
UMPUT 与 … 臻 最 优势 边界 相似 检验 是 等 疝 的 . 由 于 在 了 (一 上 的 条 
件 下 ,基于 和 条件 单 参数 指数 型 分 布 (3. 48) ,glu, 直 是 该 检验 问题 的 水 平 
为 a 的 条 件 UMPT ,或 条 件 UMPUT. 因此 

Es 8 TI 了 一 厅 裕 FEelg TD 了 = OE 


从 而 
Ev (Et$U, TOT Es {Ed$’ (UT ]), ES, 
Es $eU TT) 2 Ed (UU,T), ED 
由 于 上 Cu, 了 ) 在 整个 样本 空间 上 ,是 水 平 为 < 的 在意 一 个 无 书 检验, 所 
以 在 整个 磁 本 空间 上 $Cu,1) 是 单 边 假 设 检验 问题 (C1), (I) 和 汉 边 假 
设 检验 问题 CD),(V) 的 水 平 为 a 的 UMPUT. 有 至 十 在 整个 样本 空间 上 
#za yi 是 双边 假设 检验 问题 (下 ?的 水 平 为 a& 的 UMPUT 的 证 明 , 我 们 
将 它 留 作 习 题 3. 12. 
由 上 述 结 果 易 得 下 述 定 理 . 
定理 3.15 设 样本 区 服从 多 参数 指数 型 分 布 (3.47), 则 
(2 原 假设 五。 : 9 所 所 对 备 拌 很 设 吾 ; : 22> 凡 的 单 边 假 设 检验 问 
题 《 了) 的 水 平 为 «的 UMPUT 为 


1， wi ctt) 
plust) = | uw = c(t) C3.49) 
0, nelt) 
其 中 rtDsrisS1) 和 et 由 下 式 确 定 
Es itaU,T) IT = = a 3,50) 


和 如果 考虑 瑟 ; : 8 尘 负 对 118< 抽 的 单 边 假 设 检 验 问 题 (C1), 类 
位 鲜 结 论 公 全 部 成 立 , 但 是 (3.49) 式 中 的 不 等 号 要 改 恋 方 向 . 

(2) 原 假 设 如; :中 二 0 和 对 备 择 假设 日! : 98 或 8 访 后 的 双 
边 假设 检验 问题 (KW ) 的 水 平 为 «a 的 UMPUT 为 
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[1 CY EH lt) 
jen hie a = citlt) ,r= 1.2 3, 51) 


1， CI) 或 cst) 
其 中 (C0 和 ri() 入 1) 和 cilrf) 由 下 式 确定 
Fo [$0 TT = = EgU,TYIT = =e (3.52) 
如 果 考 虚 瑟 ，: es0 或 8 史 对 五 10 二 2< 岂 的 双边 假设 检验 
癌 题 (VY) ,类 似 的 结论 仍 全 部 成 立 , 但 是 (3.51) 式 中 的 “0 Cue 
(0)*” 要 互相 交换 . 
‘3) 原 假设 1。: 8 一 所 对 备 择 假 设 五 ; : 97*6 的 双边 根 设 检验 问 
题 ( 下 ) 的 水 平 为 a 的 UMPUT 由 (3.51) 式 给 出 ,其 中 (2) (C037;(1) 志 
1 和 < 由 (3.503 和 以 下 的 式 子 确定 
Es [UBUTIIT =t] =a:E[diT <-t] 《3.53》 


如 果 所 要 检验 的 参数 是 0 一 ap 十 了 ,brla 关 中 ,内需 将 (3. 47) 
式 改 写成 下 面 的 形式 


Plzsbr) = eo r) vexp{Or ca x) 十 Prt Cr) hr) 


其 中 证 (CD 一 < (z) 一 5Cz) 一 笃 w(z) ,利用 定理 3.15 就 可 解决 


关于 8' 的 各 种 单 边 和 双边 假设 检验 问题 . 
§ 3.5.3 两 个 Poisson 总 体 的 比较 


设 相互 独立 的 两 个 总 体 工 各 > 的 分 布 分 别 足 参数 为 4 和 产 的 
Poisson 分 布 . 要 比较 这 两 个 总 体 的 差异 ,就 是 要 比较 参数 A 和 的 差 
蜡 . 为 了 应 用 定理 3.15, 首 先 把 它们 的 联合 分 布 表 示 成 指数 族 分 布 
《3, 47) 的 形式 

ParyysaH)} = e Ht «exp{O ew tr eli: Cry 
其 中 0 一 (AAA ,rr 二 In(0) ,Hw 二 yt 二 Zz 十 y. 比较 参数 4 和 的 差异 的 
检验 问题 就 变 为 关于 参数 8 的 检验 问题 .例如 原 假 设 瑟 ,: 4 所 对 和 省 
择 假设 阅 :> 的 检验 问题 等 从 于 原 假设 五 . : 0 对 备 择 息 设 H， 
9<0 的 检验 问题 . 按 定 理 3. 15, 只 要 在 直线 * 一 > 一 上 的 整数 点 上 对 
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找 最 优势 的 条 件 检验 . 在 给 定 革 十 了 二 i 后 ,Y 的 条 件 分 布 为 


| 
PtylzTy = 一念 一 四 1 一 
上 


这 是 二 项 分 布 5(t, 产 ). 其 中 2 一 对 一 Te 所 以 原来 的 假设 检验 间 
题 就 化 为 大 十 二 项 分 布 的 参数 p 的 很 设 检验 问题 . 例如 原 假 设 五 。: ， 
所 上 对 备 择 假 没 蝇 ! : 4 之 py 的 检验 问题 等 价 于 原 假 设 fs: Pp 之 0.5 对 
备 拌 假 设 17, : zz<0.5 假设 检验 问题 . 

上 述 方 法 也 可 用 来 检验 两 个 样本 瑟瑟 -和 了 Ti,…,Y, 是 否 来 
自 同一 个 Poisson 总 体 . 这 是 因为 了 和 了 > 分 别 是 参数 为 
mA 和 mp 的 Poisson 分 布 .检验 这 商 个 样本 是 否 来 月 同一 :个 Poisson 总 
性 ,等 价 填 检验 ata 和 mr 的 比值 是 天 等 于 加 :za 


8#3.5.4 两 个 二 项 总 体 的 比较 


设 相 二 独 立 的 两 个 总 体 z 和 yy 缘 服 从 二 项 分 布 ,它们 分 别 是 blm， 
让 和 50n,pzy. 它们 的 联合 分 布 可 表示 成 指数 族 分 布 (3., 47) 的 形式 
Pixsyspirpad = Cl Pr (1 pr)" 
explg*ra rt “|, | 


ni 


其 中 8=]n Phin Pay 那么 比较 这 两 个 总 
体 的 差异 .项 比较 参数 p, 和 ps 的 差异 的 检验 问题 就 变 为 关于 参数 8 
的 检验 问题 . 例如 原 假 设 吾 。: p, 二 ps 对 备 择 假 设 [1 ;: pp: 关 ps 的 检验 
问题 等 价 子 原 假设 2 : 8 二 0 对 备 择 假设 及, : 9 壮 0 的 检验 问题 . 按 定 
理 3.15, 只 要 在 直线 zx 十 ?= 上 的 整数 点 上 寻找 最 优势 的 条 件 检验 . 在 
给 定 + 十 y 一 i 后 ;3 的 条 件 分 布 为 


Poy|zr i y= = cD: | 


m Vin 


* eo, yo Os st 


i yy 


其 中 6) 一 3 | | "| 


“| 在 8 二 0 时 .这 个 条 件 分 布 是 


yy 
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起 几何 分 布 


322 Ea im 二 nT 
Poylz+y=oD=| 上 
fy 


| | + y= Oslyrmt 
中 LE 
用 它 可 以 确定 原 假设 五 。: 9 二 0 对 备 择 假 设 fi: 8 了 0 的 检验 问题 的 
临界 值 . 


$ 3.5.5 正 态 总 体 参 数 的 检验 问题 


为 了 能 用 更 简单 的 形式 给 出 正 态 总 体 参 数 的 检验 疝 题 的 检验 天 
数 , 首 先 证 明 下 述 定理 . 

定理 3.16 设 样 本 六 服从 包 参 数 指数 型 分 布 (3.47), 

(1 如 果 存 在 一 个 统计 量 了 =-VIC,T), 络 定 了 = 上 后 ,7 是 UV 的 单 
调 增 函 数 , 且 当 8= 负 时 ,7 与 开 也 相 独 立 . 则 万 :Ps 让 对 五 | :> 外 
的 单 边 假设 检验 问题 (了 工 ) 的 水 平 为 a 的 UMPUT 为 


1， ve 
$vo) 一 =e (3. 54) 
OO, Ve 
其 中 rrC0 和 7r 翅 1} 和 < 不 依赖 于 z. 它们 由 下 式 确定 
EptY)=a (3.55) 


如 果 考 虑 好 :0Z 名 对 五， : 8 过 后 的 单 边 假 没 检验 问题 (I), 类 似 的 
结论 仍 全 部 成 立 , 但 是 (3.54) 式 中 的 不 等 号 要 改变 亡 向 . 
(2) 如 果 存 在 一 个 统计 量 Y 王 (CT ,给 证 了 一 后,Y 是 UU 的 单 
调 函 数 , 且 当 8 一 站 或 多时 ,YY 与 7 玫 相 独立 . 则 且 ， 站 委 BEEO 对 万 ， 
: 0<D 或 9> 包 的 双边 假 庶 检验 问题 {R ) 的 水 平 为 a 的 UMPUT 为 
0, CU 
$V) = 47 v= cai 1.2 (3. 56) 
“1, 了 
其 中 ,C07 所 1) 和 ci 不 依赖 于 z. 它们 由 下 式 傅 定 
Es$V} = Est(V) = a (3.57) 


如 果 考 虑 五: 8S0 或 0 二 册 对 也 0 二 pe 的 双边 假设 检验 问题 
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《VD 业 似 的 结论 仿 全 部 成 立 , 但 是 (3. 56) 式 中 的 “rp<cs” 与 “cp<cei 
或 zcez ” 芝 互 相交 换 . 

《3 如果 存在 一 个 统计 量 了 = 一 al) UT5CT) (at 了 ) 隆 0), 即 第 
定 工 = 上 后 ,了 是 局 的 线性 函数 , 且 当 8= 如 时 ,VY 与 本 互相 独立 . 则 
五 8 名 对 五 :0 天 中 的 双边 盘 设 检验 问题 ( 开 ) 的 水 平 为 的 
UMPUT 由 53.56) 式 给 出 ,其 中 的 一 (0 所 rm < 委 1) 和 “ 不 依赖 于 记 它 们 
埋 (3.557 和 以 下 的 式 子 确 定 

Es[lV +: $Y) =a* EeV (3. 58> 

证 明 :(1) 握 定理 3.15(1), 单 边 假 设 检验 问题 (1 ) 的 水平 为 a 的 
UMPUT 由 (3.49) 和 13.50) 两 式 给 出 . 因为 对 给 定 的 1,v 一 v(x,f) 是 4 
的 单调 增 胃 数 ,所 以 检验 函数 等 价 地 由 下 式 给 出 


1， vi ct) 

多 (让 -| v= ee{r) (3.59) 
0, ve) 

其 中 属 这 F000) 氨 1 和 rt) 由 Es L#CV,T) | 工 =: ]= 二 a 衫 定 .又 因 为 

在 8= 抽 时 .V 与 荆 于 相 独 立 , 所 以 xr(D 和 etz) 不 依赖 于 1, 而 由 (3.55) 

式 给 出 由 由 (3.59) 式 给 出 的 检验 就 是 由 (3. 54) 式 给 出 的 检验 , 关于 单 

边 假 设 检 验 问 题 (I ) 有 类 似 的 结论 . (1) 得 证 . 

(2) 据 定理 3.1552), 双边 恨 设 检验 问题 (KR 7) 的 水 平 为 a 的 
UMPUT 由 C3. 51) 和 (3. 52) 两 式 给 出 . 因为 对 给 定 的 1:,v 一 vtwu,5) 是 x 
的 单调 函数 ,又 因为 在 8 一 0 或 让 时 ,与 实 吾 相 独 立 , 所 以 检验 画 数 
等 价 地 由 (3.56) 式 给 出 , 且 ri(0 寺 7 所 1) 和 不 依赖 于 z, 而 由 (C3,57) 
式 给 出 . 关 填 双边 假设 检验 问题 (VY ) 有 类 似 网 结论 . (2} 得 证 . 

《3) 据 定理 3.15(3),; 双 边 假 设 和 检验 问题 (I ) 的 水 平 为 a 的 
UMPUT 由 (3.51),《3.50) 和 (3.53) 三 或 纵 出 . 因为 对 给 定 的 zu 一 
2tt8 十 有 (是 2 的 单调 函数 ,所 以 检验 函数 等 价 地 由 下 式 给 出 


OO, c(t) < 
pin ,ty 一 本 了 一 cit) ,sz 一 1,2 C3. BO 
1, VD 或 vw c(t) 


其 中 rt osrmGss1) 和 cf 由 以 下 两 式 请 定 ， 
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Es [$V ,TT =41=a 
Vo BT 

El as 

由 此 可 以 推 得 ,它们 由 专 下 两 式 确定 ， 

Es L$V ,TT) ‘T=t]=a 

ELF -HVTIT = = 0 ELVIT=4] 
因为 在 8 二 负 时 ,VY 与 荆 互 相 独 立 ; 所 以 riC(0 所 rj (2) 委 1) 和 ci(z) 不 
依赖 于 *, 而 由 (3.55) 和 (3- 58) 式 确定 . 则 由 (3. 60) 式 给 出 的 检验 就 是 
由 (3.56) 式 纵 出 的 检验 . (3) 得 证 . 定理 证 毕 . 

为 了 能 用 村 简 单 的 形式 给 出 正 态 总 体 参 数 的 检验 问题 的 检验 西 
数 , 尚 需 下 述 引 理 . 

引 理 3.17 设 ( 铭 ,党 ,了 = {Pe BE 为 一 参数 统计 结构 ， 
T(X) 为 8 的 充分 且 完 备 的 统计 量 . 如 果 可 测 统 计量 SC 于) 的 分 布 与 8 
无 关 , 则 对 所 有 的 8€ 旭 ,TC(X) 与 SC(X) 相 互 狸 立 . 

证 明 见 套 考 文献 中 

例 3.10 设 样 本 站 二 (六 ，…, 六 ,) 来 自 正 态 总 体 Cnse) ,其 中 
一 co 之 pyco,o >0. 考虑 关于 p 的 假设 检验 问题 ,(1)Ho : pj: 守 0 对 
Hi : po 2) Ho : gE0 对 FHL: p03)H, : £4=0 对 Hi: po. 
车 考 处 的 假设 检验 问题 是 Ho: gp 宇 pr 对 慑 ,: yj 等, 则 可 以 通过 变 
换 工 一, 一 上 mm: 归 关 为 上 述 情 况 之 一 . 

样本 的 联合 密度 为 


pry ) = (VK) "exp|— 


Vo pT) 
acT) IT ~ | 


$V ,TT =t|= ee Esl 


2 
2 cxp{O -a 十 rr-i} 


其 中 8 一 ng/g? ,一 (一 201) 7 14 一 二 了》 好 .这 时 ,关于 产 的 检验 
问题 就 变 为 关于 的 检验 问题 . 例如 ,检验 问题 (1) 等 价 于 Ho : 8 宕 0 
对 11: 0<0 的 检验 问题 . 

为 了 能 用 定理 3.16(1), 以 较为 简单 的 形式 给 出 问题 (1) 和 (C2) 的 
检验 函数 ,首先 寻找 统计 量 玉 二 V(U,T), 便 得 对 给 定 的 T,V 是 UU 的 
单调 增 函 数 , 且 在 8 一 0, 即 在 nr 一 0 时 ,7 与 工业 相 独 立 .为 此 令 
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/CO—— 


,一 Ur 及 
了 = vnin 1 * = vntn 12， - -一 
“TT 一 nl | 时 
Sx — HY 


下 面 证 明 : 它 满足 上 述 要 求 . 对 给 定 的 了 ,Y 是 U 的 单调 增 函 数 .在 /二 0 
时 ,样本 基 二 (六 ，…,X) 来 自 正 态 总 体 (0:c). 这 时 .了 一 全 大 
是 史 的 充分 .完备 的 锭 计量 . 且 在 P 一 0 时 ,由 于 

V= vn 17 ， 2 -一 一 wm 一 )》。 2 


ce — 及 ): Do — ZY 
其 中 Zi 二 i/o 一 NC0,1) ,所 以 V 的 分 布 与 参数 0 无 闫 .因为 在 j= 二 0 
时 ,下 是 充分 .完备 的 统计 量 , 而 六 的 分 布 又 与 参数 无 关 , 刚 据 引 理 
3.17 知 ,Y 与 了 互相 独立 ,在 mr 一 0 时 ,7 一 za 一 1). 根据 定理 3.16t1)， 
前 两 个 检验 问题 的 UMPUT 的 拒绝 域 分 别 为 1 :totn 一 1)} 和 {zz 
Pt 一 1)) .这 就 是 常用 的 上 检验 法 . 

为 了 能 用 定理 3. 1643) ,以 较为 简单 的 形式 给 出 问题 43) 的 检验 函 
数 , 首先 寻找 统计 量 W, 它 形 如 WW 二 atTIUV 十 ECT) CalT) 冯 0), 且 在 #8 
二 0 时 ,WW 与 下 瑟 相 独立 . 为 此 令 


U 
W 一 一 
/TT - 
D2.4 


则 对 固定 的 T,W 是 U 的 线性 函数 ; 且 在 jy 二 0 时 ,由 于 了 T 了 二》 ,XX? 
是 o 的 充分 .完备 的 统计 量 ; 且 由 于 W 的 分 布 与 参数 无 关 { 可 题 
3.137 所 以 据 引 理 3.17 知 ; 镀 与 荆 互 相 独 立 .根据 定理 3.16(3), 并 
忠于 在 一 0 时 ,W 的 分 布 关于 原点 对 称 ‘ 习 题 3.13). 内 而 根据 定理 
3.14 的 说 纺 , 最 后 一 个 检验 问题 的 UMPUT 的 拒绝 域 为 {x : lw| 汪 
c}. 由 于 
Ww 
v1 nm 

构 IV| 是 |W | 的 单调 增 函 数 , 从 而 拒绝 域 可 等 价 地 表示 为 {Tz : Iv| 汪 


了 一 vnta 1) 
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cj . 由 于 在 jy 二 0 时,V~t(n 一 1), 从 而 该 检验 问题 的 UMPUT 的 拒绝 
域 为 1r : vv| 守 tf， ,s(n 一 1)}, 这 也 是 常用 的 t 惟 验 法 ， 

例 3.11 说 样本 盛 一 (Xi ,来自 正 态 总 恒 Cu) ,其 中 
一 ca<p<eeso0- 考虑 关于 o 的 假设 检验 问题 .5(1) Ho !: 中 实 吕 对 
Hl: oto Ho oo 计 Ht oad) Hy: oo=o 对 Hl:o’ 
关 03. 样本 的 联合 密度 为 


plyE0) = Cv LATo) "exp 


: 
— exp ld utr) 


其 中 8 一 (一 200)7 ,rr 一 nf0 一 > ZF 一 了 .这 时 ,关于 的 检验 
同 题 就 变 为 关 填 8 的 检验 问题 ,例如 检验 贞 题 (1) 就 变 为 Ho : 0 之 
(C205) ! 对 五，: 8 一 293) 7 1, 
令 V=U 一 n+ 了 二 2 (Ki 一 以 )*, 则 对 固定 的 本 = 下 ,VV 是 器 
的 线性 增 函 数 . 显然 ,V 与 醋 相 互 独立 .在 8 一 (一 203) !, 即 一 a5 于， 
~ 有 (nn 一 1). 根 据 定 理 3.16(1), 前 两 个 检验 问题 的 UMPUT 的 
指 绚 域 分 别 浪 {rv 和 gE 疙 t 一 1 和 {v0 * 放 _e(n 一 1)). 这 就 
是 常用 的 检 验 法 .最 后 一 个 检验 问题 的 UMPUT 的 拒绝 域 为 {zt :vw 
Cl 或 x 工 :vcs} ,其 中 必 与 co 由 (3.44) 与 (3.45) ,或 (3. 44) 与 (3. 46】) 
两 式 确定 ,但 需 把 其 中 的 自由 度 # 摘 为 xn 一 1. 一 般 常 李 ci 一 说 sa 一 
1) ,c= Xi wetn 一 1)., 这 也 是 常用 的 XY 检验 法 . 
例 3.12 设 样本 三 一 (和 样本 了 一 (Y7:,…,Y,)? 互 相 独 
立 . 它们 分 别 来 自 正 态 总 体 KRCaye 和 No 其 中 :一 ce 拓 和 < 
co ce 所 和 所 ceo0. 由 于 这 两 个 正 态 总 体 的 方差 相等 ,所 以 上 比 
较 这 两 个 正 态 总 体 的 差异 的 检验 问题 就 是 比较 这 两 个 正 术 总 体 和 的 均值 
的 检验 问题 ,例如 Hs; pa 二 pg 对 i! 了 关 pe 
样本 的 联合 密度 为 
plrsysins trr) — (2n0:) “exp 全 |、 
exp{iGrau rt 二 rs * i:} 
其 中 
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mn (CH 一 fe) mp 十 ng 1 


9 ma gp 


bd nn 
# = yO Tm 十 nyts = DE 十 > 刘 


这 时 ,所 考虑 的 检验 问题 万 。: 训 二 pe 对 入 1 ;，p 训 关 jz 就 变 为 关于 8 的 
检验 问题 ,H,: 8 一 0 对 Hl : 20 
根据 定理 3. 16(3) ,首先 寻找 统计 量 了 ,使 得 对 固定 的 7 与 了 :7 
是 U 的 线性 消 数 , 匡 在 8 二 0 时 ,与 (T ,TT,) 和 互相 独立 . 为 此 令 
UU 


划 对 国定 的 本 与 TY 是 U 的 线性 函数 .在 8=0, 即 在 4 二 j= 二 时 ， 
合 样本 5 ，…，X- YiY) 不 仅 互 相 独 立 , 而 且 同 分 布 . 这 时 ,和 
产 的 充分 ,完备 的 统计 量 为 了 | 和 了 ，， 由 于 在 #8=0 时 ,VY 的 分 布 与 参数 
5 和 无 关 ( 避 题 3.14), 所 以 据 引 理 3.17 知 ,VY 与 (7 7 互相 独立 . 
根据 定理 3.16(3), 并 由 于 在 8 二 0 时,V 的 分 布 关于 原点 对 称 { 习 题 
3.14), 从 而 根据 定理 3. 14 的 说 明 , 该 检验 问题 和 的 UMPUT 的 拒 第 域 
为 {zrsy | 芳 c1 进一步 令 


jmnCm + A 2) V 
TN J 
+* 2 
1 mia 
fmn(m + nn 2) YF—X 
= mn 


J/ (Xi ~ RB) + > (7 一 了 )? 

出 IVY1 是 |W| 的 单调 增 函 数 , 并 且 让 8=0 时 , 玉 ~flm 十 n 一 2). 所 以 该 
检验 问题 的 UMPUT 的 措 绝 域 为 {zy : |ww| 写 wm 十 2 一 2》}. 这 
就 是 常用 的 上 检验 法 . 类似 地 ,检验 问题 (17Ho: pap 对 Hi: jn pe 
和 和 C296 :po 这 pa 对 Zh :p<<pe 的 UMPUT 的 拒绝 域 分 别 为 {z，y: 
tofvstm 二 2 和 和 {ry 人 们 部 是 常用 的 
检验 法 ， 
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例 3.13 设 样本 六 = CXi,… ,人 n) 和 样本 了 一 CY1,……, 了 了,) 互 相 独 
立 . 它们 分 别 来 自 正 态 总 体 NU ,oa) 和 NG) ,其 中 一 oo 之 记 之 oo， 
一 co<pa<coyof>0,o>0. 考虑 比较 这 两 个 正 态 总 体 的 方差 的 检验 
问题 , 瑟 ,: gj 一 o 对 | ;gf oo3. 

样本 的 联合 密度 为 

Pay re 0 —etp a0) Ta) 。 

exp{l@ rau ret rt 十 rs" ts} 
其 中 


gi ll, 1 ,mn 
2 RT Id 


下 一 D> yh 一 2 十 之 只, 一 Et 一 少 


这 时 ,关于 的 检验 问题 :二 台 对 地: oi 关 03, 就 变 为 关于 8 的 
检验 问题 日, : 8 一 0 对 五 | : 80. 

根据 定理 3.16(3), 首 先 寻 找 统 计量 下 ,使 得 对 固定 的 全,T, 与 
TorV 是 UU 的 疮 性 沙 数 , 且 在 8=0 时 ,VV 与 CT ;7';, 了 3) 互相 独立 .为 此 
今 


一 nT 2 7 
Tr mT 
Me >) 0 — Ee 
则 对 给 定 的 TT,, 了 ;和 TV 是 U 的 线性 增 函 数 . 在 9 二 0, 即 在 中 == 
二 时 ,As 和 0? 的 充分 ,完备 的 统计 量 为 
T,= ,Ts 一 了 和 了 mT: nT: 


VV 


= DK Ft Dr, Fy 
i 二 1 1 一 】 


由 于 在 9 一 0 时 ,Y 的 分 布 与 参数 jn,jpz 和 0 无关 ( 习 题 3.15), 所 以 据 


引 理 3.17 税 ,V 与 (ToyTIy 了 Ti 一 mT3 一 nT3); 从 而 与 (Ti,T,,Ts) 了 互相 
独立 . 由 于 在 9 二 0 时 ,V~Be| "23 ,根据 定理 3.16(3), 检 验 


问题 五 二 94 对 五 ; 关中 的 UMPUT 的 拒绝 域 为 {ry : ve 
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或 Tea ,其 中 ©] 和 过 由 以 下 两 式 确定 {习题 3.15) 
dr 1 你 


| 


2 2 
a) | 
这 里 Be| * | 本 ,到 于 | 表示 Be| “1 ,到 | 分 布 的 澳 度 函数 . 信 
Y,—Yy 
所 二 Vw mm 一 1 2 ” me 
-Yl =1 
1 着 1 VK, — Ty 1 


则 在 6 二 0 时 ,FF 一 1sm 一 1). 由 于 下 是 V 的 严 增 明 数 ,所 以 该 检 
验 问题 的 UMPUT 的 拒绝 域 可 等 价 地 写 为 [x,y : F<ce, 或 之 cy) ,其 
中 Cf 和 Cs 由 以 下 两 式 确 定 ( 可 上 题 3.15) 


| FC —1lm— ldr=1—a 


"2 让 一 1] 
rt (m1) 
这 里 lzln 一 1 ,mm 一 1) 表 示 了 (nn 一 1 ym 一 11) 分 布 的 密度 函数 . 
拒 钨 域 为 {zx,y :FF 雪 c) 或 下 之 cy} 的 办 验 的 势 明 数 与 参数 j 记 和 ji 


无 美 , 仅 依赖 于 比值 p 一 芝 - 它 的 势 盏 数 为 


"Firln om— 1m — ldr=0 


ep) =1—| Fn — 1,m— Ddpz) 
与 例 3. 9 相 类 似 地 ,由 势 函 数 在 p 一 1 时 达到 最 小 值 推 得 ,c 与 也 可 
由 以 下 两 式 确定 ， 
| Fealn — 1m— ldx=1—a 


ca Ficaslrn OO— m1) =e * Re 一 1 一 1) 
一 般 沼 联 必 一 stn 一 l,m 一 1) ,cs 一 下 .ontn 一 1;m 一 1). 这 是 常用 的 
FF 检验 法 . 
由 于 下 可 改 蕊 为 
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Un 
Tm Un 1 

则 对 给 定 的 ,TZT, 和 工 5,F 是 U 的 严 增 函数 ,前 已 证 明 , 在 980 时 ,VY 
与 CH,Z4r73) 各 相 独 六, 而 五 促 与 VO 有 美 , 所 以 下 与 (TI,Ts;Ts) 也 互 
相 独 立 . 根据 定理 3.16(1) ,检验 问题 态 。 :中 所 中 对 万! 93; 以 及 
百 。: 中 空中 对 万 ci 二 的 UMPUTI 的 拭 绝 域 分 别 为 1{zyy :下 入 
下 (一 1 一 1 和 人 zy 产 和 -ooC 一 1 一 1 .这些 都 是 常用 的 三 
检验 法 ， 


二 


3 3.6 似 然 比 检验 


$3.6.1 似 然 比 检验 


前 面 讨 论 了 一 臻 最 优势 检验 和 一 臻 最 优势 大 往 检 验 。 但 是 在 许多 
情况 下 ,对 于 一 个 复合 假设 的 检验 问题 ,上 述 这 些 最 优势 检验 可 能 不 存 
在 。 这 时 ,我 们 当然 可 以 采用 类 似 于 前 面 的 处 理 方 法 ,对 检验 提出 进 一 
步 的 限制 ,然后 在 这 被 限制 的 较 小 的 检验 类 中 寻找 最 优 检 验 , 这 样 做 ， 
在 实际 使 用 中 往往 是 困难 的 ,也 是 不 可 取 的 . 另 一 个 途径 是 给 出 一 个 析 
造 检 验 法 的 一 般 方法 。N-P 基本 引 理 告诉 我 们 ,在 简单 原 假 设 对 简单 
备 拌 假设 的 检验 问题 中 ,最 优势 检验 由 似 然 比 恰 验 给 出 。 事 实 上 , 似 然 
比 检验 方法 也 可 用 在 复合 很 设 的 检验 问题 中 构造 检验 。 这 是 构造 检验 
的 常用 上 方法。 

设 习 一 (的 分 布 密度 函数 是 p(x;9) ,其 中 未 知 参 数 8E 
母 下 以 是 向量 。 我 们 知道 ,简单 原 根 设 吾 ,。 : 9 一 小 对 简单 备 择 假 设 五 ， 
: 一 (外 夭 负 ) 的 检验 问题 的 似 然 比 为 
ati 
Plxib,) 

现 考 虚 复 合 假 设 的 检验 问题 : 原 假 设 五 , : 8€ 全 , 对 秋 择 假设 有) : 8E 
81. 在 复合 假设 的 检验 问题 中 ,很 自然 地 定义 伺 然 比 AMCz) 为 


AC{TY) 过 
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A) SP 0) 
TT supplrd) plrd) 
8 人 
其 中 ;高 和 各 分 别 蚌 打 , 和 五 ,成 立时 ,8 的 MIE. p(x; 名 ) 是 原 概 设 
五 , 成 立时 ,观察 到 样本 点 > 的 可 能 性 的 -- 个 度 呈 ,而 pCir; 扣 ) 是 备 择 


假设 五) 成 立时 ,观察 到 样本 点 < 的 可 能 性 的 一个 度 顺 .在 xz) 比较 大 


时 , 备 择 假 


设 成 立 观察 到 样本 点 工 的 可 能 性 比较 大 , 央 此 很 自然 地 ,在 


Atz) 比 较 文 时 拒绝 原 候 设 . 故 取 检 验 的 拒绝 域 为 12 :42ce) .这 个 检 


验方 法 常 月 


日 于 区 分 样本 米 自 这 类 分 布 ,还 是 那 类 分 布 的 检验 问题 . 


例 3. 14 证 有 样本 久 二 《XX ,了 ,), 考 赔 检验 问题 , 原 殷 设 和 备 
择 假 设 分 别 是 太 ,。: 样本 来 自 正 态 分 布 N(x,o), 其 密度 函数 为 


和 吾 , : 样 


ptr 


potsp 0 ) 一 | V2) ， “exp|— Cr -| 


20* 


本 来 自 双 参数 指数 分 布 旅 rptu,0), 其 密度 函数 为 
0) = 方 "exp{— 一 | 或 0, 在 + 一 J 之 0 或 过 0 时 


其 中 一 ce 一 p<coya>0. 原 假设 成 立时 ,p 和 oa 的 MLE 分 别 为 


Ps > (Xi — XY 


上 了 


向 备 择 假 设 成 立时 六 积 品 的 MEE 分 凋 为 


A 一 蔗 ) 一 min{ 生 1, 亲 一 下 一 瑟 


所 以 该 检验 问题 的 伏 然 比 


其 中 


patris te 02) 

47 二 = { virxre Tl .DD 
Tp crse a) 
i=1 


fa 二 y 《ri 一 全 7 
pb -~ 一 tl 
Dx — Ty) 


f=1 
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由 于 44z) 英 于 万 严格 增加 :所 以 拒绝 域 可 到 为 人 7 : D2 之 c1. 由 于 
J SGz 一 J + Dy Cu — HY? 
> 一 Xe)) 2 Cai 一 Hey) 


其 中 忆 一 于 ,二 1,2,…,n, 所 以 不 论 原 假设 为 丰 , 还 是 备 择 假设 为 


真 , 五 的 分 布 皆 与 4 和 za 无 关 . 原 假 设 为 真 时 ,检验 犯 第 一 类 错误 的 概 
率 为 


DD= 


Ti 


PID 之 c| 样本 来 自 标准 正 态 分 布 N(0,1)} 
利用 随机 模拟 法 ,对 不 同 的 样本 容量 =: 求 得 诛 假 没 为 真 时 也 的 分 位 数 
值 .从 而 得 到 了 核验 的 临界 值 上 .然后 由 于 备 择 假设 为 真 时 ,检验 犯 第 
二 类 错误 的 概率 为 
PiD 之 c| 样本 来 自 标 准 指数 分 布 Erp00,1)} 
利用 随机 模拟 法 ,可 以 求 得 检验 犯 第 二 类 错误 的 概率 . 
简单 原 假 设 对 简单 备 择 假 设 的 似 热 比 4Cx) 的 另 一 个 很 自然 的 推 
广 为 
BP cz 有) 
Supp x30) 大 (7 由) 
其 中 ,6 是 8€E 昌 , 即 8 没有 受到 限制 时 的 MLE:6, 是 原 假设 Ho : 8E 人 @, 
成 立时 , 即 6 受到 限制 时 的 MLE. 显然 ,A(z) 实 1. 检验 的 拒绝 域 为 {x 
;ACT) 社 c}. 似 然 比 的 这 种 推广 较 前 者 普遍 . 它 常 用 于 参数 假设 检验 问 
题 . 
例 3.15 设 样本 开 一 (来 自 正 态 分 布 Case 其 中 
一 ojoc ,o>0， 考虑 检验 问题 , 原 很 设 [1 : = 对 备 择 仍 设 互 ， 


ALX) 一 


: pA0. 原 假设 如 。: zw 一 0 成 立时 ,0? 的 MLE 为 氏 一 二 。 放 X91 而 备 
择 假设 HH : yx 关 0 成 立时 , 即 均值 w 和 方差 名 未 知 时 ,x 和 or 的 


MILE 分 别 为 贞 二 驴 和 和 一 。 和 2 CX, 一 下 六 ,因而 似 然 比 


。 228 。 第 三 并 假设 检验 


1 2 y 1 » exp! 《2 一 六 ， 

由 1 一- "1 1 2 
Tov 瑟 5 exp| 三 
+ TT 和 
[Ee ?TE Tr ) exP | 2 部 


其 中 


显然 ,Akzy 是 1 的 产 增 郴 数 . 故 拒 绝 域 可 取 为 {fT : 1 这 c1. 原 假设 日 。 
: 一 0 成 立时 ,itn -1). 鼓 取 Cc 一 .wztn 一 1). 这 就 是 常用 的 上 检验 
法 . 不仅 :检验 如 此 ,前 面 元 节 给 出 的 不 少 最 优 检验 都 着 伺 然 比 检验 . 
由 于 似 然 比 检 验 的 适用 面 广 , 且 由 它 构 造 出 来 的 检验 常 具 有 某 种 优良 
性 ,所 以 似 然 比 检验 是 很 设 失 验 中 的 一 个 重要 方法 . 

一 般 来 涪 , 难 以 求 得 似 然 比 统 计量 的 精确 分 布 . 因而 有 必要 寻求 ， 
在 样本 容 其 新 于 无 穷 时 , 似 然 比 统计 量 的 极 根 分 布 . 1938 年 ,Wilks 证 
明了 关于 似 然 比 统计 量 的 极限 分 布 的 重要 定理 .下面 分 简单 原 假设 和 
复合 原 假 设 两 种 情况 进行 讨论 ， 


$3.6.2 简单 原 假 设 的 检验 问题 


定理 3.18 设 样 本 六 一 (X,,""…，X,) 来 自 密度 孙 数 族 {p(zx39) :0 
EB}, 其 中 未 知人 参数 8= 名) 参数 空间 如 是 上 维 欧 氏 空 间 R* 中 
的 一 个 会 有 内 点 的 集合 . 假设 参数 真 值 多 是 旭 的 一 个 内 点 . 

假设 该 窗 度 关 数 族 满足 下 列 四 个 条 件 : 


dp (X30 Fp{rsd | 
(1) | PS dur) | ?du(z) 二 小 + 一 了 


(2 79 iTA0) 1 0， 9E9, 其 中 


§ 3.6 人 忆 址 比 检验 “229。 


7.(9) = | | ep |. | pF 0 ptzi9)dakz) 


(3) 在 在 MGCzr) ,使 得 [uw "plriOdri KY EB, 其 中 下 
与 无关, 且 在 合 有 敌 数 真 值 名 的 一 个 分 域内 ， 


A |< Me), jl lk 
(4) 不 同 的 6 值 ,对 应 着 不 同 的 概率 分 布 . 
除 上述 四 个 条 件 外 ,再 假设 9 的 MLEB 是 似 然 方 程 209 一 0 的 
艇 ,其 中 
!(9) = nll; ;0) 一 Dinpes 10) 
并 且 在 n 一 50 时 ， 6 依 概率 收 化 于 参数 真 值 8， 
考虑 如 下 双边 检验 问题 ， 
简单 原 假设 态 . :9 一 8 对 备 抒 假 设 11 :9 关 多 
该 检验 问题 的 似 然 比 统计 量 为 
] | 2 
AD) 一 二 


由 26 
fi 一 1 


那么 在 原 假 设 吴 。 成 立时 ,2lniX) 随 ” 增 灰 不依 分 布 收 化 于 六 (). 

证 明 : 下 面 的 讨论 都 是 在 原 假 设 百 , 成 立 的 条 件 下 进行 的 . 由 于 日 
是 似 然 方 程 的 相合 解 , 则 据 MLE 的 新近 正 态 性 定理 可 知 ， 

DOY Ts NOON), Hees C3. 61) 

其 中 DC 一 “am(6 一 上 .不 难 证 明 ( 习 题 3. 17) 
1 ginplX; :BY dlInp(Xi0D11 -村 Int 

为” | | E22 中 = EE 和 和 | 
将 Fe) 一 人 > ， lnztri 和 ?在 下 处 泰勒 展开 ， 1 于 有 是 供 然 方程 的 解 ， 
则 有 


6 一 的 一 (有 十 去 (6 一 日 iv (一 全 


1 = El! 
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=1(6) 一 二 ,DG CDC) 
其 中 
C= (ct Dts cl) 一 一 过 “ 2) 


2nAtr}—= 2 DinplrisD) 一 Dlnplz,:0,)) 
i=1 


一 2 (8 的 区) 》 一 DB,y * Did,) 《3， 62) 
将 cj(9* ) 在 6 处 泰勒 展开 ,并 应 用 定理 关于 三 阶 篇 导数 的 假设 条 件 ， 
则 有 
: kit0) 
和 日 ?一 i é, a* 一 让 te | 一 上 少 - 一 
cb 一 co 十 o> [ 区 |] 
> M(x.) 
< + 全 


nn 


其 中 0 所 ov 迄 == 全 人 全 二 (O00.). 由 于 间 随 nn 增 大 而 
依 概 率 收 敏 于 参数 真 值 8. 从 而 0" 一 8。. 故 对 每 一 个 ,都 有 如 一 > 
bu. 又 由 大 数 定律 知 ,二 ， > MX Es LMCX)] 之 K; 所 以 
cg ) 一 zc,(9o), 由 大 数 定律 知 

ci -之 Es] < 8 |= 1.(8,) 


所 以 660") 人 >J《9,). 从 而 

CF» 700,) (3. 63) 
则 由 (3.62) 式 知 ,在 nn 一 00 村 ,21n4t 下 ) 与 DC) ， 719)，DD(B,) 有 相同 
的 极限 分布 . 由 (3.61) 式 知 , 在 ce 时。 有 (Bl * 有 (8.) 卫 - CO,1Y. 


起 DC909 tT Di6,), 岂 而 2n1 和 7? 随 增 坟 而 焦 分 布 收 总 于 
六 鸽 》. 定理 让 毕 . 
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出 《3. 62) 和 (3. 63) 两 式 知 ， 
21naACX)= 2 > mp 的 — Snp(X,:0,) | 
i=| 一 | 


— De) COC» DB) 
一 DO,y * 了 (Du ) Do,) TT 后 {3. 64) 


其 中 0. 这 说 明 , 21nXCX) 与 万 (8 Ti。 Pr8 仅 相 善 一 个 
依 概率 收 化 于 0 的 革 . 在 将 定理 3.18 推广 到 复合 诛 假 设 的 情况 时 ， 
“3. 64} 式 起 着 重要 的 作用 . 

例 3.16 分 类 数据 的 检验 .根据 某 项 指标 .总 体 被 分 成 x 类 ;A4,， 
,出 经 验 或 某 个 理论 提出 了 如 下 的 检验 问题 : 

原 假 设 妨 ,: 随机 抽取 :个 个 体 z 进行 观测 ,P(rE 4) 已 知 ; 等 于 
pw 二 1,… 7) ,其 中 


2pu— 1 
备 择 假 设 五 , : Pr€E A = pad=1,. :不 全 成立， 
随机 抽取 n 个 个 体 进 行 观测 . 设 有 mm 个 个 体 属于 类 4:. 则 有 
>) nm 二 nn. 样本 {x; :1 二 1 sr} 服从 包 项 分 布 .其 概率 密度 为 


nl 


pn Li st 一 


二 ] 


这 里 产 是 类 4, 所 占 的 比例 . 由 于 > ,太一 1, 所 以 参数 室 间 


nT! 


= ps sp sp; 0 CO= 1 一 1)} 
1 


中 独立 参数 只 有 r 一 1 个 . 故 昌 是 xr 一 1 维 欧 氏 空间 的 一 个 含有 内 点 的 
集合 . 户 的 MLE 为 #: 二 n/n. 该 检验 问题 的 似 然 比 统计 量 为 


所 定理 3. 18 知 , 在 原 假设 FH。 为 真 时 ,2ln4 一 2 > mm 旧书- 
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一 -Cr 1). 故 在 2 >) ,ne* ln 吉之 站 -Cr 一 1) 时 .拒绝 原 假设 . 
npo 
在 原 假 谈 五 , 为 真 时 ,可 以 证 明 ( 蜗 习题 3.19) 


alnA— 2 Nm lnl1 十 和 ee 
:| 


Npor 
oN Ed np 1 和 吾 二 | | 
全 ' 人 Npos 2 npo 
十 依 概 率 收 第 于 0 的 量 
r ; _ 2 


十 恢 概 率 收 人 第 于 0 的 其 


‘nO nn 


一 >) + 依 概率 收 伊 于 0 的 量 


右边 就 是 分 类 数据 检验 问题 的 Pearson 阁 拟 侣 优 度 检验 统计 量 . 所 以 
关 按 合 优 度 检验 可 以 近 伏 看 作 分 类 数据 的 似 然 比 校 星 . 


$33.6.3 复合 原 假 说 的 检验 问题 


设 样 本 XX 一 (XX,… ,来自 密度 函数 族 {1Pfzi6y : 8E 昌 9), 其 中 未 
知 参 数 8 二 人 ,…, 扩 ) ,参数 空间 日 是 上 维 欧 氏 空 间 R* 中 的 一 个 含有 
内 点 的 集合 . 考虑 复合 原 假 设 检验 问题 : 原 假 设 豆 ,， : 96 外 对 备 择 很 
设 琶 ,: 9 丰台 ,其 中 全 ,是 日 的 一 个 非 单 点 子 集 .一 - 般 来 说 ,复合 原 假 设 
大 瑶 有 以 下 几 种 情况 : 

情况 ]， 藉 假设 Hs,: 日 一 一 大 一 人 

这 有 时 ,B 一 19 :8 一 (00) 筷 上 昌 }. 例如 ,总 体 为 NN (Cp， 
中 ;其 中 一 p00 >0. 这 时 ,8 二 Cp,0)ERXR'. 复 合 原 假 设 
吾 。; py 二 0 就 属于 情况 1. 情况 1 最 为 简单 . 下 述 情 况 ?2 是 情况 1 的 推 
广 ， 

情况 2 原 很 训 Hy: RG) 一 0,7 一 1] ,$s; 其 中 R(tf=1， 
…,5) 具 有 一 阶 连 续 仿 时 数 . 这 时 ,参数 8 受到 :个 菏 件 的 限制 ,@@o 一 19 
;ERO=0l 例如 ;相互 独立 的 两 个 总 体 CA ea) 和 
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NG0) ;其 中 一 2 之 记号 产 0. 这 时 9 一 (po)ERXR 
XR' .复合 原 假 没 5 : 和 一 上 就 属于 情况 2. 再 实 上 ,可 适当 地 重新 
定义 参数 = (ol eu) 使 得 原 乱 设 变换 为 地 和 二 二 乓 守 
0. 则 情况 2 就 变 成 情况 1. 在 上 拨 中 , 若 用 新 委 数 (pi 一 kaso) 取 代 
原来 的 参数 (mm ,mo , 则 就 变 成 情况 1 

情况 3. 诛 假 度 Hs。 :人 二 giCp sR)? 一 1 上 ,其 中 gi(i 王 1， 
…, 尼 ) 具 有 一 阶 连 续 偏 导数 . 这 时 ,Bo 一 16: 96E B90 一 gi(P) ,1 二 11"*， 
kV 一 Di 人 JE4) 4 是 > 维 欧 氏 空间 及 ' 中 的 -- 个 合 有 内 点 的 集 
合 . 例如 . 设 有 于 ,FY 二 个 离散 理 随 机 变量 .X 表示 和 人 的 性 别 ， 天 一 1" 表 
示 田 性 ;“ 于 二 2" 表 示 女 性 ;了 表示 是 否 色 育 , “7 了 一 i" 表示 正常 ;“Y 了 一 2” 


表示 色盲 , 令 pj 二 POX=i 了 = 让 ,i,j 二 1,2, 这 时 9 一 (py,purpa): 其 
中 ,0 所 purpres pa 和 11 且 pu 十 Pw 十 pa 所 1. 所 以 参数 空间 母 为 及: 中 
的 -… 个 单纯 形 . 

有 1c00 大 按 性 别 与 色 育 分 类 如 下 


按 遗 传 学 模型 ,数据 应 有 下 列 相对 应 的 概率 ， 


正常 


2 
2 


p+ Cp) 


其 中 0 过 p 委 1 问 数 据 与 模型 是 否 相 符 ? 这 里 所 要 检验 的 原 霞 设 为 
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Has Pi 一人， js 一 
这 属于 情 凑 汪 

取 9 一 人 2) 则 情况 工 变换 成 情况 3. 从 而 情 说 2 也 能 变换 
成 情况 3. 事实 上 ,情况 3 也 可 以 变换 成 情况 2 如果 能 将 加 ,… ,名 表 
示 成 由 ,如 的 画 数 ,然后 把 这 些 国 数 代 人 芳 一 是 (办 ?7 一 5 十 1， 
,由 此 可 得 到 参数 日 受到 的 上 一 * 个 条 件 的 限制 , 则 情况 3 变换 成 
情况 2、 在 上 例 中 , 直 十 站: 一 户 /2 所 以 一 2 pu 因 灶 参数 8 一 (pi 
Pizs Pu) 受到 两 个 条 件 的 限制 ;pp 一 一 2 pn)2, 以 太 pu 一 2 pi 
二 2 pr" Cl—2* pu). 

下 面 我 们 只 讨论 情况 3 的 复合 原 假设 的 检验 问题 ， 

定理 3.19 设 样本 站 二 (XX,…: 及 ,) 来 自 密 度 卫 数 闯 {pCri86) :日 
上 } ,其 中 林 知 参数 0 一 (参数 空间 纺 是 让 维 欧 氏 空 间 R* 中 
的 一 个 含有 内 点 的 集合 . 参数 真 值 印 是 外 的 一 个 内 点 . 假设 该 密度 画 
数 族 满足 定理 3. 18 的 四 个 条 件 ， 

考虑 原 候 说 万 。: 6E 上 对 备 择 假设 娓 | ; 9 在 入 ,其 中 国 是 母 的 一 
个 子 集 , 且 满 足 干 述 条 件 :存在 rtr 拓 器 维 欧 氏 空间 及 中 的 一 个 含有 内 
点 的 集合 和 4, 以 及 定义 在 4 上 的 * 个 三 阶 可 导 的 冰 数 gg 二 gi)" 1)， 
使 得 六 与 回 , 一 一 -对 应 ， 

,= (0108= gp) ,9 EA) 
在 参数 真 值 %E @, 时 ,假设 鲍 对 应 于 4 中 的 点 各 :人 9 一 g(go); 册 是 有 4 
的 内 点 ， 

在 8 二 gC9) 时 , 记 plr :和 们 ==p(lrsg (lp) 为 BCr;9). 则 分 布 族 
1ptr19) : 6 全} 可 等 价 地 写成 {六 Cx39) :PE 及 } 的 形式 , 仍 访 审 虚 郴 
数 族 {PCrig》: gEA} 满 足 定理 3.18 的 四 个 条 件 . 

在 9E@ 时 ,假设 8 的 MLE6 是 似 然 方 程 于 一 0 的 解 ,其 中 


(8) = InJT prs0) 一 Shinp ,10) 
并 且 在 a 习 =2 时 ,9 依 概 窑 收 人 锅 于 参数 真 什 如, 在 原 假 设 为 真 ,期 参数 
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真 值 EB 时 .6 的 MLE6, 一 gC9。) ,假设 反 是 位 然 方程 SC 开 一 0 的 
解 ,其 中 


Ip) 一 iT Cr》 一 Sn tz,sp) 
了 am】 IT 一 上 


并 是 在 ww co 时 :$0 依 概率 收 化 于 Pr: 
定 久 似 然 比 统计 量 


下 [CR 
A 六) 一 一 

[L pOXish,) 

1 一 ] 


则 在 原 假设 Hs 成 立时 ,21nACX) 随 x 增 大 而 依 分 布 收 化 于 类 (有 一， 
证 明 ;下 面 的 讨论 都 是 在 原 假 设 态 , 成立 的 条 件 下 进行 的 ,并 旦 淮 
效 定 理 3.18 的 符号 . 


入 
w 


1 P10) ,Sy) Pz10) ' 


四 
Y (9) 一 二 和 “和 


出 由 中 心 极限 定理 知 ,在 n>oo 时 ， 
V0,) -二 NOON)) 《3. 65) 
从 而 由 (3. 61) 式 短 ,1-!(@) .VC9,) 与 DC9,) 有 相同 的 极限 分 布 .不仅 
如 此 ,由 MLE 崭 近 正 态 性 定理 的 证 明 过 程 知 ,7 -1(6,)。VC6,) 与 DC6,} 
仅 相差 一 个 依 概 率 收敛 于 0 的 量 . 
因为 密度 霄 数 族 {p(zi6) : bc @} 满 足 定理 3. 18 的 四 个 条 件 , 刚 
由 (3. 64? 式 知 ， 


2 之 lnp(X56) 一 DlnplXis0,)) 5 D0) 7169》 DOO,) 
r=] 1 一 
从 而 
2 me :人 ) 一 Pnpex, 0))] 与 CYCO)] : [IC0)] 1 » VCO) 


仅 相差 一 一 个 依 概 率 收敛 于 0 的 重 ， 它们 有 相 阿 的 极限 分 布 . 
间 召 ,因为 密度 函数 族 {F(x;9) :9E4I 岂 满足 定理 3.18 的 四 个 
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条 件 , 所 以 


2{ > In 太 CX 区) -和 lnFTR8 SU CoO :Leg Ugo) 
一 | 


i=1 


仅 相 差 - -个 依 概 率 收 化 于 0 的 量 , 它 们 有 相同 的 极限 分 布 .其 中 
1 9) 9) 
a \ 5 一 ] J 2 Ms | 
Jp) = CY, 


nn ， 


Up) = 


其 中 


olngplr:; » i281 XT; 
J (9) = | ?ea -| 2 ;PY 


令 刀 (9) 一 (B,Cqg)),.ws 其 中 Bit9) 一 0 注意 到 6=g (9); 抽 二 
8t8po). 从 而 有 


) “FCripdecr) 


Ulg:) 一 Blip) * VD,) 


iP) = BOP,) :+ 18) ， [号 (和 0) C3.86) 
所 以 
2 > ;Je 放 ( 和 的 一 Din Xs) 
r=1 i=1 
与 


VAT -TBOGYN LIP)] +» Bipoy * VCO,) 
眶 相 匡 一 个 依 概 率 收 剖 于 0 的 量 , 它 们 有 相间 的 极限 分 布 . 
注意 到 ptri) 二 rpBo) 户 Cri 本) 一 Crigo); 从 而 有 


naACK)— 2 DO ina 一 > 1np5CX 81 
f=! i=1 
— 2 nplX0) 一 np(X,;0.)) — 
?=] 1 一 1 


2| mn 和 (和 3 和) — DInB OK, :6)) 
r=] i=] 
则 2InaACX 2) 
[EC TB Beppo [go +: Bp) VO 


仅 相 差 -个 依 儿 率 收 化 二 0 的 量 , 它 们 有 相同 的 极限 分 布 . 令 用) 一 
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[680)] 1 V8) , 则 由 (3. 65) 式 基 ,WC60) 一 >N(0.7), 且 2lnXCX) 与 
[WB :LT oe G0 Wd,) 
有 相同 的 极限 分 布 .其 中 
G0) 一 [7(6) 本 [BC 了 [7Cpo)] + Bep) * [TC0.) 1] 
由 (3.66) 式 知 .1 一 G68.) 是 血 等 阵 , 且 了 一 GtB) 的 秩 为 
ktriGB mo ti gm] Blpo) : [10]: [BOP } 

一 下 一 vr 

所 以 ?ln%ZE) 的 极限 分 布 为 六 (一 门 .定理 证 年 . 


33.6.4 二 维 列 联赛 的 独立 性 检验 


设 有 互 ,了 -个 离散 型 随机 变量 ,分别 取 > 个 和 ee 个 值 , 与 此 相 联 系 
的 有 一 个 二 维 列 联 表 7rXce. 作 次 观测 ,在 ti. 门 格 的 观测 频数 为 ,1 
二 120 呈 rj 一 1.2, 呈 yc. 观测 值 落 人 (i, 门 格 的 概率 为 pj. 观测 频数 
{m2} 服从 多 项 分 布 . 其 慨 兴 密度 为 


由 于 、，>， ,一 1, 所 以 参数 空间 


i=1 j=] 


问 一 {ps :fr 二 ] 一 1 2 0, 3) Sp 一 1} 


中 独立 参数 只 有 + c--1 个 . 故 日 是 +，c 一 1 维 欧 氏 空间 的 一 个 含有 
内 点 的 集合 . pi 的 MLE 为 太一 msn. 
考虑 独立 性 检验 , 原 假设 Ho: pi 一 pp ji 一 1,2,… ryj 一 1,2， 
sc 共 中 pi; 和 pj; 分 别 是 芝 和 站 边 绢 分布. 奈 候 设 成 立时 ,pi 二 pe 。* 
志 ;所 以 其 参数 空间 日, 与 下 述 集 合 4 一 一 对 应 : 
二 sp or eo ls 
| 


|p. 2 0.p.) 2 0， Sip: 一 Np, 一 
ei :上 


4 中 独立 参数 只 有 十 < 一 2 个 . 改 4 是 > 十 < 一 之 维 欧 氏 空间 的 一 个 合 
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有 肉 点 的 集合 . 这 时 ,pi 的 MLE 为 Pp: M BP. ;= nin) (ni 其 中 7 


= Dn Dn 
该 检验 问题 的 似 然 比 统计 量 为 


由 于 fr ce 一 1 一 (0 十 c 一 2 一 (rr 一 tc 一 1 故 在 厚 仍 设 成 立时 ,2tn4 
的 极限 分 布 为 姑 ((r 一 1)fc 一 1 在 2n432 刀 -0 一 DCc 一 137 时 ,也 
就 是 在 


Rj 
An 


1 -1)) 


rm 
了 1 
2 Dm ln - 
1 i J 


i=! j= 


”的 时 候 , 拒 绝 原 假设 . 
与 例 3.15 相 类 似 地 ,在 原 假设 要 , 为 真 时 ,可 以 推出 (见习 是 
3. 19) 
2n4 = 人 十 依 概率 收 信 于 0 的 最 
右边 就 是 二 维 列 联 表 的 独立 性 检验 问题 的 六 拟 合 优 度 检验 统计 量 . 


$3.6.5 三 维 列 联 表 的 条 件 独 立 性 检验 


首先 看 下 面 的 例子 , 表 3.2 是 1976 年 一 1977 秆 美国 忆 罗 里 达州 
的 凶杀 案件 中 ,326 个 被 告 的 肤色 和 死刑 判决 情况 的 分 类 表 划 . 
表 3.2 被 上告 的 肤色 和 死刑 判决 情况 的 分 类 胡 


二 维 列 联 表 的 独立 性 检验 似 然 比 统 计量 2ln4 一 0.2214, 它 比 迷 51) 
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分 布 的 中 位 数 0. 4550 还 要 小 ,不 能 拒绝 被 告 的 肤色 和 死刑 判决 相互 独 
立 的 原 假 设 , 认 为 白人 被 判 死刑 的 概率 等 于 黑人 被 判 死刑 的 概率 . 事实 
上 , 表 3.2 的 数据 显示 出 ,白人 被 判 死刑 的 比例 蒋 高 ,等 于 11. 9%, 而 
时 大 被 判 死 莆 的 比例 却 较 低 ,等 于 10.25%. 这 品 然 鼎 当 时 美国 的 现实 
是 不 相符 的 .后 来 人 们 将 被 害 人 的 肤色 也 考 虚 进去 ,构造 了 三 维 列 联 
表 ,得 到 的 结论 就 趟 一 样 了 . 三 维 询 联 表 如 下 所 示 . 


表 34.3 被 告 与 被 害 人 的 肤色 滩 及 死刑 判决 情况 的 分 类 表 


死刑 到 决 
| 的 比例 


如 果 诈 害 人 是 白人 ,那么 白人 被 判 死 刑 的 比例 与 黑人 被 判 死刑 的 比例 
分 别 为 12.6 昕 与 17.5 上 ;如 果 被 害 人 是 黑人 .那么 白人 被 送死 刑 的 比 
司 与 黑人 被 羯 死刑 的 比例 分 别 为 0 与 5.8 吕 .这 说 明 .无 论 被 害 人 是 白 
人 还 蚌 辕 人 ,黑人 被 判 死 惠 的 比重 都 是 比较 高 的 . 尤其 是 在 被 害 人 是 黑 
人 时 ,让 人 没有 被 判 死 州 的 . 这 说 明 在 美国 有 种 族 歧 视 , 死 刑 判决 与 鞭 
色 密 切 有 关 . 此 例 告 诉 我 们 ,在 将 三 维 列 联 表 全 并 成 二 维 列 联 表 进行 分 
析 时 ,由 于 删 去 了 一 个 国 子 , 有 可 能 产生 同 题 . 人 们 有 必要 研究 三 维 列 
联 表 ,或 更 高 维 列 联 表 的 统计 分 析 . 

没有 碟 , 了 ,2Z 三 个 离散 型 随 术 变量 ,与 此 机 联系 的 有 一 个 三 维 列 
联 表 -xcecxt 作 了 次 观测 ,在 (7 有 ) 格 的 观测 频数 为 ma 一 1 
一 1 下 观 涡 值 落 人 人大) 格 的 概率 为 pi {nsf 二 1， 
7 服从 多 项 分 布 , 其 概率 密度 为 

Te 


1 Ti! i 
1 一 1 jj 
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BF Dp ==1, 所 以 参数 空间 
名 


9 人 


丰产 之 0 Pp = 1 } 


中 独立 参数 上 只 有 re 一 1 个， 故 全 是 rc xi 一 ] 维 欧 低空 间 的 -一 个 
含有 内 点 的 集合 . px 的 MLE 为 Bij 二 Rif. 

这 里 有 三 个 检验 问题 , 原 假 设 分 别 是 三 个 随机 要 基 相互 独立 ,一 个 
随 宙 变 显 和 另 两 个 随机 变量 相互 独立 ,以 及 给 定 -- 个 随 宙 变量 后 男 两 
个 艾 机 变革 相互 条 性 独立 , 前 两 个 问题 类 似 于 二 维 列 联 表 的 独立 性 检 
验 问 题 , 放 从 略 . 最 后 -个 问题 是 有 关 条 件 独 立 性 的 检验 ,下 面 来 讨论 
这 个 检验 问题 .这 里 仪 考虑 给 定 Z 之 后 ; 革 和 YY 相 南 条 件 独立 的 检验 
何 题 . 

车 条 和 件 独立 性 成 江 ; 则 有 

PAX == PREZ PY |Z= A 

从 而 有 


Pi Pn 
Pr 


其 中 | 万 + 分别 是 (下 ,2 ,CY ,ZI 和 驯 边缘 分 布 ， 出 此 {习题 
3.21) 推 得 ,条 件 独立 性 成 立时 ,pi 的 MLE 为 
Ps 二 Pa eR 


(3.67) 


Pin = 


pb. Hg 
条 人 性 独立 性 的 原 息 证 成 立时 ,由 (3. 67)? 式 知 , 其 参数 空间 印 与 下 
人 述 集 合 4 - 对应; 
A=1p pp Or i= lr yk < Lt 


pis OPa 0, Spi 一 Dp 一 pi NPs 二 1 } 
;1 5 1 


刀 中 独立 参数 只有 (7r 十 一 1) 一 1 个 {习题 3. 21). 
该 检验 问题 的 似 伏 比 统计 其 为 
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ITIIITI 2) 


= ti 一 ] X=]】 肯 二 1 


二 a mg 
IITI Hn | 

由 于 teri 一 1 一 [十 ec--1) 一 1]=t*， tr 一 1)，(e 一 1), 禾 在 原 
假设 成 立时 ,2lr4 的 极限 分 布 为 禄 (iCr- 1)(e 一 1)). 在 2ln4 之 


Nalttr 1Dte 一 1)) 时 , 即 在 


2 > Onn ni Wr De — 1)) 


pr Hig “A 
的 时 候 ,拒绝 不 假 没 . 

上 述 美 于 佛罗里达 州 的 凶杀 案件 的 例子 中 ,考虑 给 定 被害 人 的 肤 
色 后 ,被 告 的 肤色 与 死刑 判决 的 条 件 独 立 性 的 检验 问题 5 给 定 被 告 的 肤 
色 后 被 害 人 的 肤色 与 死刑 判决 的 条 忻 独 立 性 的 检验 问题 ,以 及 给 定 是 
否 死刑 判 类 后 被 告 的 肤色 与 被 害 人 的 肤色 的 条 件 独立 性 的 检验 问题 留 
作 习 囊 3.22). 经 计算 , 似 然 比 检 验 统计 量 2104 一 1. 88. 渐 近 分布 的 
自由 度 为 2. 由 于 {Xi(2) 守 1. 88} 有 0. 39, 所 以 我 们 不 拒绝 条 件 独 立 
性 原 假设 . 认为 给 定 被 害 人 的 肤色 后 ,被 告 的 肽 色 与 死 出 判决 是 条 件 狐 
立 的 . 由 此 可 以 看 到 ,被 害 人 的 肤色 与 死刑 判 史 有关 ,被 害 人 的 肤色 与 
被 告 的 肤色 有 关 , 前 者 说 明 在 美国 有 种 族 歧 视 . 

与 似 然 比 检验 法 相 类 似 的 ,还 有 Wald 检验 法 和 Rao 检验 法 91 此 
外 ,还 有 Score 检验 尘 中 . 


$ 3.7 已 统计 量 检验 


8 3.7.1 过 统计 是 


上 述 各 种 检验 方法 基本 上 适用 于 参数 统计 结构 -这些 方 法 往往 要 
求 总 体 分 布 旗 的 密度 函数 的 数学 形式 已 知 , 且 只 含有 限 个 未 知 参数 , 但 
有 的 时 候 , 人 们 难于 由 经 验 或 某 种 理论 得 到 总 体 的 参数 统计 结构 ,而 只 
能 得 到 非 参 数 统计 结构 . 因此 有 必要 寻求 非 参数 统计 结构 的 检验 方法 . 
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首先 看 下 面 的 例子 . 

例 3.1751 令 蕊 表示 某 种 电子 元 器 件 的 寿命 . 根据 经 验 或 某 种 理 
论 , 常 假 没 六 服 从 指数 分 布 ; 或 Weibull 分 布 ,或 对 数 下 态 分 布 等 . 但 
有 时 很 难 作 帐 这 样 的 恨 设 ,或 人 们 不 不 意 有 这 样 的 假 溉 ,而 宁愿 在 一 个 
较 大 的 范围 内 考虑 问题 . 例如, 仅 假设 为 取 非 负 值 的 连续 型 随机 变 
量 . 这 样 我 们 就 涉 太 到 一 个 非 参 数 统 计 结 构 . 

如 果 对 任意 的 s 守 0.12>0, 都 有 P(X>s 十 tI 守之 PCK>s), 则 
称 该 元 件 老 化 . 如 果 对 任意 人 的 s 守 0,1 汪 0, 都 有 了 (Xs 十 :1 外 计 1) 二 
”P(X>s), 则 称 该 元 件 无 老化 . 在 可 车 性 统计 中 ,- -个 很 重要 的 检验 问 
题 是 ， 

原 假 没 五 ,: 元 件 无 老化 对 备 择 假 设 二 : 元 件 老化 

(3. 68) 

车 和 了 杯 乱 煞 统计 结构 ,服从 殉 eibull 分 布 ,其 分 布 晒 数 为 下 (zy 一 1 

一 exp| -一 二 | : 则 有 
— 3s” 
PX ss} 一 exp (— | 


| ~ PX) PIX>s+t) 
PK>s +t = PER = 一 六 人 二 


— 已 买 门 ， 
Pi 


ts 二 1)°C— | 


人 

显然 ,在 a 二 1 时 ,s* 二 Cs 十 让 "一 1 从 而 PC 这 :十 1X 计 由 = 了 (Xs)， 
元 件 无 若 化 :而 在 ae 王 1 时 ,< 十 不 一 区 从 而 PON 于 s 二 1 | 革 半 让 之 
(XX>5), 九 件 老化 .页 上 述 检 验 问 题 在 Weibull 分 布 场合 就 简化 为 闫 
于 形状 参数 4 的 检验 问题 , 原 假 设 石 ,: a 二 1 对 备 择 假设 Hi : a>1. 
受 此 启发 ,我 们 在 关 芭 非 参 数 统计 结构 时 , 亦 寻 求 :个 参数 ,使 得 检验 
问题 化 为 关于 这 个 参数 的 检验 问题 . 

设 半 为 取 非 负 什 的 连续 随机 变量 , 它 的 分 布 阔 数 为 下 (x), 显然 ， 
“PRs = PX oFG+) = Fs) * FO)” 
“POX sti PREY oF < Fly FOY” 

其 中 下 (xz) 一 1 -Ftx), 为 此 ,我 们 令 
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1), re + FO) — Fs tdF (YdF (te) 
则 检验 问题 可 简化 为 关于 参数 w 的 检验 问题 


原 假 设 万 :=0 对 和 苗 择 假设 用 :四 0 (3. 869》 
由 于 
区 1 1 _。 1 
[ 上 Fy :FOVdFC Yd () 二 [ha 4) (1 — vdudv = 1 


jo Fe todrodre = | | PC > 7 + dF er)dF (es) 
0 自 bb 


所 以 


“=F PX > Xs + Xx) 


其 中 |,, 9 是 该 元 事 忻 的 寿 人 铭 试验 的 伍 意 三 次 记录 ， 
若 令 9 一 PEX, 汪 Xs 二 XX;), 则 把 检验 问题 (3.69) 进 一 步 简化 为 关 
于 参数 8 的 检验 问题 
原 假设 吾 ,: 9 二 于” 对 备 择 假设 了 :8<i (3. 70) 
为 了 寻求 检验 统计 量 , 首 先 得 讨论 # 的 征 计 问题 .这 是 非 参 数 佑 计 
问题 . 设 天 一 (Xi ) 是 该 元 器 件 的 寿命 试验 的 次 记录 , 即 它 是 
来 自 搓 韭 货 和 佣 的 连续 随机 变量 的 分 布 晒 数 下 tr) 的 样本 ,容易 看 出 
, 1], 下, > 总 十 大 
多 0 
是 8 的 一 个 无 偏 估计 . 考虑 到 样本 中 各 个 分 量 了 网 地 位 是 相 往 的 , 硕 定 立 
对 称 晒 数 


0 XXX ) 

31 
它 也 是 的 一 个 无 偏 估 计 , 其 中 起,isyi3) 是 (1.2.3) 的 一 个 性 换 , 三 对 
所 这 种 置换 求 和 .CX , 基 ;; 芝 3) 和 和 和民 1， 玉 , 久 ;1 莉 是 #8 的 无 偏 估 计 ， 
但 起 交 |, 半 ;; 玉 4) 的 方 着 不 可 能 比 WCX1 ,让 2) 的 方 基 大 (习题 3. 24). 


BCX 人 | 一 


.244 ， 第 三 章 假设 检验 


六， 页 [全 ， 9 ) 


上 
其 中 1 二 PsPpsn 3 村 所 有 这 种 组 合 (Pay) 求 和 和 . 则 UCX1s**'， 
七 站 仍 是 8 的 一 个 无 人 往 佑 计 . 它 的 方差 不 可 能 比 由 XXX) 的 方差 大 
《可 题 3. 24). 让 于 在 备 择 假设 万 , 为 真 时 ,8 的 值 较 小 , 故 很 自然 地 ,我 
们 在 UCX,,… XIsc 时 ,拒绝 原 假设 ,认为 元 件 老 化 . 如 何 确定 临界 
慎 < 的 问题 留待 下 面 解 决 ， 

形 如 (3.71) 式 的 统计 量 就 是 第 二 章 和 2.2.4 给 出 的 己 统 计量 ， 


$3.7,2 U 统计 量 的 期 望 和 方差 


UN 二 


(3. 71) 


设 有 样本 着 一 【性 "区 ,) ,并 设 $ 为 en) 的 对 称 王 
数 , 令 


1 
区 一 UX + 太 ) 一 闻 人 DG Xi ) C3, 72) 


其 中 1 各 守 im 守 my 了 对 所 有 的 组 合 ( 说) 求 种 . 则 UC 或 
(XX 是 以 二 XX ) 为 核 的 VU 统计 量 . 

若 令 3 一 EL$CX :oo] 则 已 统计 量 的 数学 期 望 [0] 二 为 
简化 芝 统 计量 的 方差 的 计算 ,不 妨 人 很 设 8 一 0. 否则 ,以 下 下 ， 革 》 
一 98 为 核 构 造 [统计 量 . 下面 ,我 们 来 计算 U 的 方差 . 为 此 首先 在 蕊 : ， 
Cem) 给 定 的 条 件 下 ,计算 开关 ,…, 芝 。) 的 条 件 期 望 

Br [| 


3,73) 
其 中 c 二 1,… ,mm. 则 
EBAX. .|= EIELSCX, ,0 Rn) [XK]} 
= 下 [ge | = 
EL[$ (XI XR) = C= l,m (3,74) 


若 矶 和) 的 方 关 有 限 , 则 过 也 有 限 (习题 3. 24) 出 (3.72) 式 知 ， 


§ 3.7 局 统 记 量 检验 ”245。 


U 统计 二 的 方差 为 
Var(U) = | | SEC, ee] 
?NG 


其 中 1 过 入 用 记 芝 加 到 nn, 了 对 所 有 的 组 会 sim) 
和 (C7.… ,jm) 求 和 . 显然 ,在 两 集合 位 i;) 和 :j.,… ,jm} 无 公共 元 素 
时 ,有 

下 | 大 一 
所 以 


Var(U) 一 上 | ,SI Mec) 
nt £=] 


其 中 

Mile) 一 DELSCXE ss Xi ) ERG) | 《3.75) 
这 里 1 入 让 必 和 1 且 两 集合 位 in} 和 {1， 
;fm? 中 恰 有 cc 二 1,… ,mm) 个 元 素 相 同 ,对 所 有 这 样 的 组 合 (i,…， 
i 和 (571，… jm) 求 和 . 

出 样本 的 独立 同 分 布 性 知 ,在 两 集会 位 ,i :和 1{ 广 ,… jm} 中 怡 

有 < 个 元 素 相 同时 ,有 

E[$CX ,Xs ) 。 $CXs a Ks | 

= E[#CK ,0 KE) -下 (各 eR RR ) 

所 以 (3.75) 右 边 和 式 中 的 备 个 项 都 相等 因此 


”| nC "| 
， 。 


| 
2 一 | | ， 
| pa! 


i Pi 
ELRCRL | 

在 天: 一 :Xe 一 区 给 定 的 条 件 下 ,计算 $CX st: 人) CX 
瑟 , Xu 的 条 件 期 望 .由 于 在 不 一 re 一 2 给 定时 ， 
《六 oo Xm) 和 (XL, 四 ,六 Xo .相互 条 件 独立 和 同 条 件 分 
布 , 则 有 

Ef BOX. oe, Ra) BER se Ks Ks Km ) | x] 

= EL$CXL sy HI KR = TR = 


”1 
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开征 
一 | 直 [re 
所 以 
EL$COX, yee Ms) BON se KR ,| 
= E{ECSX, ,se KX) BOK yr Ks Kas ss) AX, 


“|} 
= Eg KY] = 0 
nim nC 一 1 
从 而 Mte)=| | + | . | 。g2, 故 LU 统计 二 的 方差 为 
Pe Le tt—e! 


1 ™ | In 
Var[lt |= (| 时 之 。 站 me 四 人 
be #2 1 zzz 1 
< 
a nm Dn 20 十 十 1) 
n(x OO— "nm 二 1) 


ot 
韦 于 (一 Cr 一 mn 一 2m 十 c 十 1 和 fn 一 10tn 一 mp 十 1) 分 
别 是 nn 的 滩 一 c 和 x 次 害 项 式 , 所 以 


we 


Gr tr “+O Da 
< 1 * 


. m1 
+ 
(2 一 C)1! 


一 了 2 。 [一 ! 十 办) Ja: 十 的 
c= 1 区 
[十 站 人] 


2 of O(n) (3. 76) 
在 例 3.17 中 ,w= 二 3， 当 原 假 设 Hs 成 立时 ,9 一 于, 央 E[UV]=6= 
到. 出 (3.73) 式 及 样本 的 独立 同 分 布 性 知 


$B Cz) = 下 [村 ,区 .| | 二 一 并 上 


Por > Ket Xi+ PX, ~ XX | 1) 
1 


| Riz — zdFCe) + S| Fr: + rdF zs) 
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当 谨 假设 成 立时 ,由 于 对 任意 的 0,t>0 傅 有 天 (5 十 厅 一 下 人 5) 。 
FC), 则 有 


Cr) 


Fie 全 一 ] 一 FOr,yY’ 下 (Ta 十 XA) 一 Feirs) 时 Fr) 


从 而 


Lr Fe) 2 
和 Ce 一 站 上 E FE dF (zs) + .| FF)dF (zs) 
1 


Fer) + Fn) :InF(Ce)]+ 二 - FC)) 


3 
一 读 " [1+ Fry :nF (x,)], 
下 面 计算 册 《Z 的 方差 ai. 由 于 当 原 假设 成 立时 、 


EL#.{X)} = 


已 [页 (CRX 一 * ja + FOr) :lnF (Cr) dF (x) 


wl | 中 | 王 


| ny. jda= 3L 
| 十 (1 一 #) ln x) jdw = 156 


所 以 


lf | 5 
， 486 | 4 3888 
同 理 (习题 3. 25) ,在 原 假设 成 立时 ， 

{LF 一 aa) + Fer) 4 1]/3. I > Ts 
二 Ts) -1 , 五 ， 
[Flzs 一 0) 十 天 (zl 十 Ts)]73， Ta > Tl 


中 
1296 
Bt 1 Ts) 一 {TL Ta ) 
”48 
所 以 
Varit’ = tn 3) Cn ~ 4) 5 nn 3 7 


a lyn To da2 | nr D2’ 7+ 
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1 .1 
ntn— 1)(x— 2} 8 


一 ja 二 Otn 2 


§ 3.7.3 5 统计 量 的 渐 近 正 恋 性 

定理 3.20 对 由 (3.72) 式 定 头 的 由 环 素 1, 六) 为 核 的 品 统计 
量 , 在 核果 数 丰 和 的 数学 期 望 汐 8 且 方 益 有 限时， 

VA 00) No, MOH), 帮 人 

其 中 四 De 一 1 7) 由 (3.73) 和 (3,.74) 两 式 给 出 . 

证 明 : 不 入 假设 8 二 0. 否则 以 CX 一 了 代替 CIEL 
Km ). 

显 熟 :二 a) 独立 同 分 布 ;其 中 聘 数 加 由 {3.73) 式 弟 


出 . 令 V= 之 ‘ Dg, 则 由 中 心 极限 定理 知 ， 
vA Vs NO, mig?), Hr 
因而 ;为 让 本 定理 ,只 需 证 表 n>o0 时 ,YR (1 VV) >y0, 由 于 
ETw 了 IC 一 Y)1=0: 故 只 需 证 明 上 >co 时 ,Var vw (一 六 )} 一 
: 
0. a 
Var{ ww nr n [加 of On ?| ~ pls 
nr (C3. 了 7 了 7) 
由 于 看 (X10) 的 方差 为 下 ,所 有 
Var:v nV} = mot 《3. 78) 
下 面 计算 Covl vi U,V nV}. 
Covr| ,和 UVa VI=EU nV =m NEU: bX)) 
= ma El ,BX )} 


= pe) | EBC se KR BN) ) 


im: 
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其 中 1 雪 旺 所 全 im 委 # 忆 对 所 有 的 组 全 全 po)? 求 和 .车 人 1, 则 
瓦 { 引 后) ” 入 (1) | 一 0. 从 而 


Cov{ v Uv na TY) 
i 


| SE {$C ,KK BX)) 


一 ma 。 
I! 


其 中 1 后 关 二 < 了 对 所 有 的 组 合 fzy wz)? 求 和 .因此 
Cov[ vn Er ww ，T] 


= 


了 -1 | EE {$CX ,Xa KL)) 


nC— 1 


在 和 一 zi 给 定 的 条 件 下 ,计算 二 及 基 ) " 轴 CX1) 的 条 件 期 萌 
下 18 ” 内 【大 1 磋 ， 一 2] 一 [CR]? 
则 


"| .|” hm 


Ei .nme— 1 
C3.79) 
从 而 由 53.777) 03.78) 和 (3. 79) 三 式 知 ,在 mc 时 ， 


Varfw at 一 T))} 
一 Var{f w at7 十 Varfwar 一 
2 .Cov( yAUvR VI +0 


在 例 3.17 ,站 一 3 四 一 一 9 


统 始 :在 原 假设 肪 ,成 并 时 ， 
jy 11 5 i 

v | 让 | -No 

故 在 大 样本 场合 下 检验 问题 (3. 68) 的 拒绝 域 为 


1 | 5 , 
Te 
U7 432n Cs 


其 中 -为 标准 正 态 分 布 NN(0,1) 的 1 一 分 位 数 . 
例 3. 18( 对 称 中 心 的 检验 ? 设 总 体 芝 的 分 布 消 数 为 下 (z 一 站 ,其 
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中 F(z) 是 关于 原点 对 称 的 连续 型 分 布 . 由 此 得 到 了 -- 个 非 参 数 统 计 结 
构 . 考虑 检 验 问题 

- 原 假 设 H,:86 二 0 对 备 择 假设 H,:0>0 (3.80) 
即 检验 对 称 分 布 的 对 称 中 心 在 原点 ,还 是 在 原点 的 右边 . 设 已 |， 总 。 
是 来 自 总 体 立 的 一 个 样本 . 著 王 取 和 参数 统 计 缚 构 : 例 如 最 从 正 态 分 布 
Canse) ,那么 上 述 检验 问题 就 是 关于 均值 上 的 检验 问题 .常用 上 检验 
法 .在 广 取 非 参 数 统计 结构 时 ,注意 到 

* 原 很 设 旦 , ; 8 二 0 成立” 二 *PIX, 十 大 0) 二 059) 

“ 备 择 假设 百 , : 9 > 0 成立? 过 >“P{X| 十 天 半 0) > 0,5”, 
因而 令 各 一 i 一 叉 : 六 04. 那么 ,上 述 检 验 癌 题 引 简化 为 关于 参数 只 
的 检验 问题 、 

原 假设 Hs ; 外 二 0.5 对 备 择 假设 Hi :ww 0.5 (3,81) 


显然 ， 
| 1 ， 有 十 有 人 0 
由 全 13) -1 
Os, 六 | 十 到; 寺 0 
是 包 的 一 个 无 偏 估 计 .然后 由 对 称 函数 $(X, ,XX,) 构 造 L' 统计 量 ， 
> CX 3 六 , ) 


nn 
,| 
其 中 1 对 所 有 的 组 会 (Ci;iz) 求 和 ,UU 也 是 的 一 个 无 偏 
合计 . 由 于 在 备 择 假设 成 立时 :oo 的 值 较 大 ,所 以 我 们 在 LCXl,… ,XK,) 
Bf 时 ,拒绝 永 假 设 . 

这 里 mn 一 2. 在 原 假设 态 , 为 真 时 ,ELU CX, ,，X.)] 一 0.5, 并 且 
不 难 推 得 (习题 3. 26}， 

] 


BT) 一 FT) ,0 一 12 


一 


Ba Cr Te) 二 Br rz》 ,oz 一 二 


所 以 


2 一 1 1 
Bntn— 1) 3m 


Var[U CX, ,+*** ,HX,) | 上 人 Ce) 
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L i 


在 原 殷 设 成 立时 ,V7 吕 一 让 ] 一 > 入 | 0. 计 | .noo. 玫 在 大 样 
本 场合 下 检验 问题 (3. 80) 的 拒绝 域 为 


$3.7.4 两 样本 UU 统计 量 


定义 3.12 样本 久 ,，… ,XX 入/，,…,Y, 分别 来 自 相互 独立 的 总 
体 了 和 YY, 设 在 XX … ,Xm 给 定时 ,$CXI m3 了 "Ym ) 为 
了 ,了 的 对 称 酒 数 , 而 在 了 ，,… ,Ys, 给 定时 ， 
天 天 oo,) 
为 革 ,-…,m 的 对 称 函数 . 令 
LU 一 Ul jy ;Xa sr »Y,) 


nl-! ne ! 
| 


nis 
其 中 1 所 站 二- 后 委 和 1< Ph 二 和 委 必 ， >) 是 对 所 有 的 组 全 
Ci 和 (jn) 求 和 . 则 称 忆 是 以 由 下 有 为 
较 的 两 样本 统计 量 . 
设 已 [下 和 ,XiYi Fo] 一 9, 则 六 统计 量 的 数学 期 望 
E[C] 一 6 
与 单 样本 的 情况 相 类 攻 地 , 令 
下 


=ELg| XL 有 fy 了 ) [XX = 一 


Y, = yn = y.,] 
oe = Varl$ (Xi Ke Ys ) (3. 83) 
其 中 避 二 0;1 ory6s 一 0,1 ,9H2 注意 :在 局 一 0 二 0 时 ， 
frol E14 HY Ye EL#[X, si :Ym ) ] 一 用 


non 人 


车 由 已 7 Ye) 的 方 兰 有 限 , 则 o., 也 有 限 . 与 单 样本 的 
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情况 相 类 似 此 ,可 以 得 到 乙 统 计量 的 方差 , 它 等 于 


人 pi < 一 cz 一 9 Cl! 
， 、 
Ea 网 网 四 1; 2 
昌 和 | "OH 
(am, 一 fl Ca His ~ C2) 
mt 


2 
好 12 a : 
= 二 Om | 
了 


定理 3.21 对 由 (3. 82) 式 定义 的 以 所 三 | 为 
核 的 两 样本 忆 统 计量 ,在 核 画 数 红 郊 ws) 的 数学 期 
望 为 86 且 方差 有 限时 ， 

U0 


也 

厂 一 一 CO 1)》， 开 OO, 更: 一 二 人 人 
Syl 2 

Imiol mzod, 


其 中 aio 六 90.00 这 >0086 (a 一 D1 mi 二 0,1 02 由 (3.83) 式 
给 出 . 

证 明 与 单 样本 的 情况 相 类 榴 交 . 

例 3.19( 位 置 参 数 的 Mann-Whitney 检验 ) 样本 芝 ,,…, 关 ,和 
说 , 分 别 来 自 相 互 独立 的 连续 随机 变量 总 体 苹 和 Y. 设 区 和 Y 
的 分 布 晴 数 分 别 为 扩 和 GG, 考虑 检验 和 辣 题 , 原 假设 右 ; : 对 任意 的 工 ,都 
有 Ftz) 一 Gir), 备 择 假 设 吾 ! : 对 任意 的 +; 都 有 了 F(x)>Gtx)， 

在 芳和 YY 服从 方差 相等 的 正 态 分 布 时 ,这 就 是 比较 两 个 正 态 分 布 
的 均值 的 检验 问题 ,常用 : 检验 法 . 

在 如 C7} 一 F(z 一 4) 时 ,这 就 是 关于 和 位 置 参 数 a 的 检验 问题 , 原 假 
设 即 变 为 五 , : 4a 二 0, 而 备 择 假设 即 变 为 Hi : a>0. 这 个 检验 阿 题 常 
称 为 位 置 参 数 的 检验 问题 ,有 雪人 关注 . 

在 诛 假 设 成 立 , 即 对 任意 药 ,都 有 下 (rz 一 COz) 时 ， 


Px< = Poodcon = udi=05 (3.84) 
而 在 备 择 假 没 为 真 , 即 对 任意 的 xz, 都 有 (x) 守 GCxY 时 . 
P(X ZY)= | FOVdG(CY) > GOyIdG Cy) 


§ 3.7 UV 统计 量 检验 * 2353 。 


1 
一 udu = os C3. 85) 


在 了 (705 时 ,这 时 我 们 称 生 随机 地 比 了 小 , 记 为 * 汪 < 了 ” 由 
(3. 84) 和 (3.85) 两 式 知 ,我 们 令 oo 一 已 (X<7). 那么 上 述 检 验 问 题 可 简 
从 为 关于 参数 串 的 检验 问题 , 原 慑 设 瑟 。: w 二 0.5 对 备 择 假设 Hi :ww 
>0.5.， 显然 ,以 
1， XY, 
一 人 X,Y, 
为 核 构造 的 U 统计 量 ， 
U= U(X Ks YY,, 
一 mi (3. 86) 
是 名 的 无 偏 舍 计 ,其 中 1 所 ?和 ,1 太 j 乞 no，、) 对 所 有 的 ?和 j 求 和 . 
该 已 统计 量 是 Mann 和 Whitney 在 1947 年 提出 的 ,大 们 称 它 为 
Mann-Whitney 统计 量 . 由 于 在 务 择 假设 为 真 时 ,w 的 慎 较 大, 所 以 我 
们 在 守 e 时 ,拒绝 原 假 设 , 认 为 “对 任意 的 xz. 都 有 F(x)>GCr)”, 
在 原 假 设 成 立时 ,w 二 0.5, 所 以 E[U] 二 0. 5. 同时 还 有 {习题 3. 27) 
bor) = GD) = Flr), bly) = FCO) 
bri = BT 1) 


oz 一 og — 1 J: — 1 

19 D2 12° 1 4 
所 以 

| 十 ns 十 1 

VarlU 1 = Bm 

据 定 理 3.21 知 :在 no0n>00 轩 、 
Mamm CS ,N01) (3. 87) 
Hl 十 

帮 痊 大 祥 本 场合 下 检验 的 拒 绵 域 为 


7 1 ja 十 ?zz r 
7 a 
C 之 2 十 人 12nme 0 


这 个 检验 称 为 Mann-Whitney 检验 ,或 位 置 参数 的 Mann-Whitney 检验 . 
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习 题 三 


3.1 电话 交换 台 单 位 时 间 内 接 到 的 呼唤 次 数 服 从 泊 松 分 布 
P(A) ,AX>0.4 为 单位 时 间 内 接 到 的 平均 呼 蜡 次 数 , 设 = 二 (r ,x10) 是 
该 电话 交换 人 台 的 10 次 记录 . 考 虚假 设 检验 问题 : 原 假 设 五 : 1 六 1 对 
备 择 假设 五 , : 4 二 1. 取水 平 为 a 二 0. 05. 

3,2 设 关 二 (X,,… ,及 ,) 是 来 自 正六 分 布 族 {N (0,05): 0 所 全 < 
co} 的 样本 , 考 虑 原 假 设 态 ,: :二 1 对 备 择 观 设 瑟 ; : 一 oflof 闭 1) 的 
输 验 向 题 . 取水 平 为 at0<a<1). 试 求 其 MPT. 

3.3 设 久 二 (X11, 站,) 是 来 自 均匀 分 布 族 ({R(0.0) : 8>0} 的 样 
本 ,考虑 原 假 设 豆 。: 9 一 1 对 备 择 假设 妃 ; :9 一 请 (二 1) 的 检验 问题 . 
取水 平 为 wx(0<a<<1). 试 求 其 MPT， 

3,4 ON-P 基本 引 理 的 补遗 ) 设 Po 和 Ps 是 可 乔 空 间 ( 区 ,和 祈 ) 上 
的 两 个 不 问 的 概率 测度 , 美 于 某 个 5 有限 的 测度 yy, 有 


8 dPs dP, 
piri) = ep plr;W) 一 二 
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则 在 检 恰 问题 (3.9) 中 ,和 如果 #8(z) 是 水 平 为 0 的 MPT, 则 它 不 一 定 满 
足 (3. 10) 式 ,但 在 PogX)<1 的 时 候 , 它 必 清 足 (3. 10) 式 . 

3.5 设 样本 毗 二 (六 jy, 慷 1o0) 来 自 二 点 分 布 找 和 6(1,p) 0S 记 大 
1). 试 求 检验 问题 ; 态 ; : ps 和 0.01 对 五 |: pm0.nDl 的 水 平一 0.05 的 
UMPT. 

3.6 《定理 3.7 的 推广 ) 设 概率 密度 族 ip(:;8) : 96E 全 CR} 关 于 
和 具有 非 降 MLR. 试 证 明 ， . 

(1) 车 下 ,…; 态 。 是 来 自 该 MLR 分 布 族 的 -个 样本 ,并 且 jtxl， 
,rs) 关 于 每 一 个 x; 都 是 非 降 的 , 则 Esg( 久 /,…,X.) 是 8 的 一 个 非 降 
隔 数 ; 

(2) 著 函数 ix) 具有 性 质 ; 存 在 点 zo 使 得 在 xo 时 ,yz) 息 0， 
而 在 x 六 xo 时 ,zr 主人, 则 Ewj( 玉 ) 或 者 总 是 正 的 ;或 者 总 是 人 负 的 ,或 
者 存在 点 包 使 得 在 9e<t 时 ,EX) 魏 0 而 在 06 时 ,EeW(X)zz0 

3.7 设立 和 YY 的 密度 孙 数 分 别 为 了 xz} 和 gg(y). 试 证 明 ; 若 
flr)Wg(z) 是 x 的 非 降 函 数 ; 则 ECX) 守 ECY). 

3.8 设 久 二 (Ks: 及.) 是 来 自 带 有 位 置 参数 的 指数 分 布 总 体 的 
样本 . 总 体 的 密 诺 函数 为 

expi— tT— 0}, r220 
plrid) = 0, 其 它 
考虑 如 下 的 检验 问题 :, 原 仍 设 五 。: 8 一 0 对 苗 择 假设 五 ，: 四 >0. 试 构 
造 水 平 为 w(0<a<1) 的 UMPT. 

3.9 设 斑 一 (Xp 是 来 自 Pareto 分 布 总 体 的 样本 . Pareta 

分 布 的 密度 函数 为 


8 . a 问 二 1 
or (z) ”0 
0， 其 它 
其 中 如 = ?2 已 知 . 考虑 如 下 的 检验 问题 : 原 假设 二 : 8 二 1 对 备 择 假 设 
五 :0 六 1. 试 构造 水 平 = 一 0 1 的 UMPT. 


3. 10 设 了 (z) 的 密度 函数 如 (3. 26)? 式 所 示 ，, 即 为 
pis 一 (ex B ft + ht) 
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rN 
试 证 明 :Es! 丁 」 ri 


3.11 设 Ttx} 的 密度 色 数 如 53.26) 式 所 示 , 上 其 中 ct0) 半 0. 单 边 
很 设 输 验 癌 题 : 听 假设 FT : est 对 备 择 假设 五 : 8-> 吕 的 水 平 为 w6D 
<a<1) 的 UMP 检验 #4( 工 ) 如 03.19) 所 示 , 即 为 


1， Te 
$7) = - T=e 
0， 了 < 
其 中 常数 rt0 二 7 所 1} 和 < 由 (3.20) 式 ,即兴 FegT) 一 a 确定 . 我们 知 
道 这 个 检验 的 势 函 数 gt9) 一 Em(T(X)) 是 非 降 的 ,是 在 集合 {人 1 0< 
St)< 1 上 息 严 格 增 加 的 . 试 证 明 :8 (87 盖 0 
提示 :为 了 证 明 &"(p) 盖 0, 考虑 如 下 的 问题 :在 满足 条 件 Es g(7) 
二 a 的 检验 函 效 $T) 中 寻找 一 个 检验 ,化 得 其 势 画 数 在 点 名 处 的 导数 
8 (名 ) 达 到 最 大 ,或 等 价 地 使 得 Es[#(T)， 了 | 最 大 . 
3.12 设 样 本 三 服从 多 参数 指数 型 分 布 (3, 47). 试 证 明 : 原 假设 
五 。: 0 一 名 对 备 择 假设 妨 | : 9 入 各 的 双边 很 设 检验 问题 (下 ?的 水 平 为 
a 的 UMPUT 由 (3.53) 式 给 出 ,其 中 (C0 寺 ri(2D) 亿 1) 和 ct2) 由 
《3. 50) 和 《3. 53) 两 式 确定 . 
3.13 设 样本 部 一 (各 -来自 正 态 总 体 六 Co) 其 中 一 ce 
po0,0 站 0. 在 yp 二 0 时 , 试 证 明 xw 的 分 布 与 参数 ”无关 , 且 记 的 
分 布 甘于 原点 对 称 , 其 中 


及 


3.14 设 样本 大 一 (和 样本 了 一 (7 ….7,) 互 相 独 立 ， 
它们 分 别 来 自 正 态 总 体 NCps 和 Npro) 其 中 : DAA<ep 
一 oo 六 0 在 让 二 jw 二 上 时 , 试 证 朋 ;V 的 分 布 号 参数 到 和 
天 无 美 , 的 分 布 关于 原点 对 称 , 其 中 


Ti 一 
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T= m¥ + nY,T, - DR or 
3.15 设 样 本 器 一 (和 ) 和 样本 Y 一 (YY.,…,Y,) 互 相 独 立 . 
它们 分 别 来 自 正 态 意 体 NAyety 和 NOso) 基站， 
— oop rm0 ,o>0. 
(1) 斌 证明; 在 oi 二 gf 二 og 时， 
YY, -. YY) 
> ) /下 -一 mn 一 1 


Vv . -~ Be| 一 ， 
SE 2 


【一 了 fr 1 
(227 试 证 明 ;检验 问题 五 oi 二 3 对 五 :下 天 上 的 UMPUT 的 拒 
和 忽 域 为 :rry :vc 或 mcs} 其 中 心 和 es 由 以 于 两 式 确 定 
rs 入 一 天 一 了 
| aelz pm ES =1—a 
zf nA--1l . 好 一 1 天 一 1 
jl 二 于 | Be| | 7 "2 dr 0 
“3) 斌 证明 ;该 UMPUT 的 拒绝 域 可 等 价 地 写 为 {xz,y :卫生 cl 或 
下 之 ca 其 中 ce 和 cs 由 以 下 两 式 确 定 


| cp 一 1, 凤 一 1)dqzr 一] 一 aa 


二 一 了 
| 这 寺 -| dz 


3.16 设 样本 及 一 ( 开 ,，…, 萎 ,) 来 自 双 倒数 指数 分 布 总 体 , 其 密度 
钞 数 为 


] . 

pri0) 一 | 站 人 
0，, ee 

《1) 试 求 检验 问题 万 。: ao 一 1 对 五， : oo 天 1 的 MPUT; 

(21) 试 求 检验 问题 五 。: A 一 0 对 Hi: xA0 的 UMPUT. 

3. 17 (定理 3. 18 的 补遗 ) 试 证 明 : 

i ， 
| | |] 
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YW, 

3.18 设 CXLY) 《Ks 4 了,) 为 来 自 民 元 正 态 分 布 N Cpa ,prai， 
,PD) 的 样本 .其 中 是 相关 系数 . 试 求 检验 问题 并, : p 一 0 对 Hi : Pp 天 
9 的 似 然 比 检 验 . 

3.19 坛 证 有 明 下 述 结 论 : 

《1) 接 例 3. 16， 


_ ED CX; | 


二 5 加 一 7po0 十 依 概率 收 伍 于 0 的 量 


三 | 天 产 m 
(2) 接 号 3.6.4， 
2n4= 2 补 mm ns 
加 到 np BP.)): 可- 
3 > 十 依 概 率 收 化 于 0 的 量 


写生 本 
3.20 设 有 磋 ， y 二 个 离散 型 随机 变量 .和 表示 人 的 性 别 ,“ 玉 =1” 
表示 男性 ;“XX==2” 表 示 女 性 ;Y 表示 是 否 色盲 ,“Y 二 1” 表示 正常 ;“Y 一 
2?" 表 示 色 讶 . 令 pj 二 POX=i, 了 一 说 ,fj 一 1,2. 这 时 9 一 (pi pss pr)， 
其 中 0 所 ppp;Pa 守 1; 且 Pu 十 ps 十 pa 寺 1， 所 以 参数 空间 日 为 Ri 
中 的 一 个 单纯 形 . 
有 i000 人 按 性 别 与 色 育 分 类 如 下 


按 遗 传 学 模型 ,数据 应 有 下 列 相 对 应 的 概率 ， 
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其 中 0 过 六 1， 问 数 撕 与 模型 是 否 相 符 ? 

3.21 设 有 总 , 了 ,Z 三 个 离散 型 随机 变 基 , 与 此 相 联 系 的 有 一 个 
三 维 刘 联 表 >Xcx 上 作 半 次 观测 ,在 嫩 , 六 有 楼 的 观测 频数 为 in,i 二 1， 
1 测 值 落 人 (7, 站 ) 格 的 概率 为 pin. 

(1) 试 证 明 ; 在 给 定 Z 之 后 ,六 和 YY 了 条件 相 豆 独 立 的 时 候 , pi 的 
MLE 为 


Ti 


Bi = 一 一 


"7k 


{27 A 二 {Cp ka 四， 1p. 2 t 一 ]，- | 


p20 a20, Dprs= 六 Pa Pal 

妨 中 独立 参数 为 什么 有 i Dl 个 ? 

3. 22 接 $3.6.5, 试 解 下 列 检验 问题 : 

(1) 原 假设 五 ,: 给 定 被 告 的 肤色 后 被 害 人 的 肤色 与 死刑 兰 决 相互 
条 件 独 立 : 

(2) 原 假设 五 ,: 给 证 是 理 死 刑 判 决 后 被 告 的 肤 负 与 被 害 人 的 肤色 
相互 条件 独立 ， 

3.23 下 表 是 某 大 学 秋季 招生 情况 的 数据 . 令 A 二 是 否 录 取 ,B 一 
系 别 .个 二 性 别 . 

(1 检验 :4 和 忆 相 互 独 立 性 . 该 太 学 秋季 招生 有 没有 性 别 歧视 ? 
如 果 有 .上 玉 种 性 别 的 录取 率 高 ? 

(2 检验 :给 证 玉 之 后 ,4 和 CC 的 条 件 独立 性 . 该 大 学 秋季 招生 有 
没有 性 加 歧视 ? 
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是 否 录 取 (4) 
系 别 CB) 性 则 {局 ) 


Ef 


湖 


如 
男 
女 
男 
男 
EE 
男 
玄 


3. 24 过 证 明 : 
人 以 引 和 天 为 核 的 已 统计 量 的 方差 不 可 能 比 核 gw…， 
站 的 方差 大: 
{2) 营 书 统计 量 的 核 并 芝 ,有 殉 。) 的 方差 有 限 . 则 加 CRI ， 半 ) 
的 方差 也 有 限 , 其 中 下 Ci 下) 姑 (3. 73) 式 所 示 . 
3.25 ” 接 例 3.17, 在 原 假 设 成 立时 , 试 证 明 ， 
1{FEx — Xa) + Fr 二 ro) , 2 > x 


» (A ss) 一 _ 
TT rp x) FF 4 zl, wa 
7 
到 一 J256 
BR TR) = BT Ty) 
1 
oz 一 48 
3.26 接 便 3.18, 在 原 假 设 成 立时 , 试 证 明 ，; 


1 


BT = Fr), 中 二 
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| Ta) 一 FA + 二 2 9 EG 和 
2nx—1 
ncn 一]) 

3- 27 ” 接 例 3.19, 在 原 人 很 设 成 立时 , 试 证 明 : 
Betx1) 一 {Cx po (Cy) 一 Fy Btri.y.) = $x +Y1) 
1 
2 


4811 一 4 


Var[U (CK, 一 


1 
12 


gf 一 加 | 一 
Var [UX 和 TY] 一 i 1 

3.28 (Kendall r 检验 ) 设 (X,Y1),-…, (X,Y,) 是 来 自 连 续 总 体 
(到 ,了 Y) 的 样本 . 和 欲 检验 假设 : 原 企 设 五。: 和 和 工 相互 独立 对 备 择 假设 
瑟 ,:X 和 了 正 相 关 . 1938 年 Kendall 构造 了 以 由 (5 ,YCX,，Y,)) 为 
核 的 统计 量 , 其 中 (CCX,Y1) (Xo) 一 1 或 69, 在 (Xj 一 六 2) (YY 一 
Ys) >0 成 其 它 . 

C12 在原 假设 成 立时 , 试 证 明 ;E(U) 二 0.5: 


(2 这 里 将 正 相 关 理 解 为 
PT 一 了 0 有 一 并 全 05 
和 PE 一 了 0 一 和 DO05 


在 原 假设 不 成 立时 , 试 证 明 :;E《tU)>0. 5; 

(3) 试 在 大 样本 场合 下 ,给 出 检验 的 拒绝 域 : 

4) 上 述 检验 问题 可 认为 是 "有 方向 的 ”的 检验 问题 ,而 下 述 检验 问 
题 , 原 假设 如,: 匀 和 YY 相互 独立 ,对 备 择 假 设 77::X 和 了 不 相互 独立 ， 
可 认为 是 “无 方向 的 ?的 检验 问题 . 令 


8 一 上 [ [Frysy) — FC) Fy) ldF Cr,y) 


基于 样本 构造 参数 8 的 U 统计 量 ( 假 定 样 本 容 其 是 够 大 ), 并 基于 该 U 
统计 量 给 出 这 个 “无 方向 的 ”的 检验 问题 的 解 ,其 中 (xr,y) 是 ( 开 ,Y) 的 
联合 分 布 函 数 ,F.(r) 和 下 ,(y) 分 别 是 于 和 了 的 边缘 分 布 函 数 . 


第 四 章 区 间 估 计 
84.1 基本 概念 


$4.1.1 区 间 估 计 


在 第 一 章 中 ,给 出 了 参数 日 的 估计 # 一 诬 和 ?后 ,我 们 用 估计 的 远方 
误差 EsL8(X2 一 9 表示 估计 的 精度 . 特别 地 ,在 上 是 8 的 无 偏 佑 计时， 
均 方 误差 就 是 已 的 方差 . 无 俩 知 计 的 精度 可 用 它 的 方差 表 示 .本章 将 给 
出 表示 精度 的 男 一 种 方法 , 郑 就 是 给 出 一 个 随机 区 间 [ 让 (XX), 遍 ( 久 )]， 
例如 [OCX) -dX) ,0CX) 二 da(CK)] ,使 得 区 间 [ 包 (号 ) ,( 关 )] 包 含 8 的 
可 能 性 相当 大 . 用 这 种 方法 表示 估计 的 精度 跷 简单 叉 育 观 . 事实 上 ,区 
间 [ 夺 (XI) ,站 XY] 也 是 对 参数 9 的 一 种 估计 , 称 为 区 问 佑 让. 

定义 4.1 设 (9,. 范 ,. 名 ) 为 一 参数 统计 结构 ,其 中 信 一 {Ps: 8E 
癌 己 R)., 假设 统计 量 部 ( 玉 ) 和 所 (于) 满足 条 析 : 总 CY) 过 所 ( 玉 ), 则 称 
[CX ,XD)] 为 参数 8 的 一 个 区 闻 司 计 . 

我 们 用 闭 区 疗 给 册 区 间 和 估计 . 此 外 ,也 可 用 开 区 间或 半 开 半 闭 区 阿 
给 出 区 闻 估 计 . 具 尊 用 什么 区 间 , 这 没有 本 质 上 的 差别 , 吕 由 实际 问题 
的 性 质 而 定 . 


$4.1.2 区 间 估 讨 的 可 靠 度 


在 参数 真 值 为 4 时 ,自然 希望 随 机 区 间 [ 康 (X) ,20X7 包含 上 的 
福 率 Po{ 贡 (XD 三 9X)} 要 大 .一般 来 说 ,这 个 概率 1 有 关 . 所 以 
-个 好 的 区 间 估 计 应 该 对 所 有 的 8€ 昌 ,概率 Prt 外 (XI) 三 9 和 (于 )}) 都 
相当 大 ， 
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定 兴 4.2 设 [ 记 (和 矶 (下 为 参数 和 的 -个 民间 个 计 , 则 称 区 间 

包含 了 的 概率 在 参数 空间 部 上 的 下 确 界 
infPo{O. CX) Es 

为 该 区 间 犀 计 的 置信 系数 . 

-个 区 间 人 计 的 置信 系数 人 鳄 大 ,该 区 间 佑 计 千 为 末 知 参数 的 估计 
就 僵 可 靠 . 但 是 ,构造 -个 奸 信 系数 很 大 的 区 间 佑 计 并 不 是 一 件 难 事 ， 
这 就 好 比 将 明 大 中 午 的 气温 合计 在 一 10 亿 与 $0 之 辣 . 这 个 估计 可 车 
度 很 高 ,但 它 的 范围 本 大 ,很 不 精确 ,没什么 用 处 .所 以 个 好 的 区 间 佑 
计 还 有 -个 精确 度 的 要 求 . 区 间 梧 计 的 精确 度 的 标准 不 只 一 个 ,常用 的 
标准 有 以 下 岗 个 . 


$4.1.3 区 间 估 计 的 精确 度 


晤 常用 的 标准 是 ,区 间 [ 训 (CX), 疝 (X)] 的 平 乌 长度 Ee[ 秽 (CE) 一 
页 (X)] 要 短 , 即 区 间 的 范围 不 能 太 大 ,这 是 符合 实际 的 一 项 要 求 . 

妇 一 个 常用 的 标准 是 , 设 参 数 真 值 为 0, 在 六 了 9 时 ,自然 希望 区 间 
[By BCX) 包含 的 概率 Pot) 志 亏 仙 (X)} 要 小 .区间 包 含 
非 走 值 的 情况 意 少 出 现 愈 好 ,这 也 是 符合 实际 的 -项 要 求 . 

例 4.1 设 翌 本 买 王 (XXX 来 自 正 态 总 体 六 Cao) 其 中 
一 ceo<pccosas>0z 和 的 合计 分 别 是 样本 均值 中 和 样本 方差 3 


= 二 2X, 一 下 )?. 考虑 到 /是 位 置 参 数 ,我 们 采用 形 如 [又 一 。 
S,X+A，S] 的 区 间作 z 为 的 区 间 估计 


设 参 数 真 值 为 x. 由 于 
PRA:SEAE 
A 


-学 一 


Xtk.S) 
=P,| En 


“号 


其 中 六 en 1), 所 以 区 间 和 包含 参数 真 秆 yx 的 概率 与 4 


无 关 , 因而 区 间 的 置信 系数 为 Pi|t| 才 VA .有 ) ,其 中 tin 一 1). 显 
然 ,.k 愈 大 ,区 间 的 置信 系数 也 您 大 ， 区 间 就 语 可 对 
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由于 名 全 她 Oo 一 1)，, 折 以 区 则 的 平均 长 度 为 
_ T( 宇 ) 
2 kad) 一 2 
vm 一 1 TC ] ， 


显然 ,x 僵 大 ,区 间 也 全 长 ,区 间 就 愈 不 精确 . 下 面 考察 区 问 包 会 非 真 什 
me 天 上 的 概率 . 该 概率 为 
太一 二 


| ro 1 四 『 一 | 
Plym. Ek < 二 | 了 | 


其 中 t~1tn 4}. 显然 ,人 鳄 大 ,区 间 包 售 非 真 值 的 概 认 也 人 急 大 ,区 间 就 
愈 不 精确 . 

出 些 例 可 以 看 到 ,在 样本 窜 量 = 给 定 后 ,为 了 提高 下 靠 夭 ,可 增加 
到 值 , 从 而 放大 了 区 间 , 侨 低 了 精确 度 . 反 过 来 ,为 了 提高 精确 度 , 可 减 
小 并 值 ,从 而 缩短 了 区 间 , 降 低 了 可 靠 度 . 可 车 度 与 精确 度 相 互 制约 着 . 
可 靠 度 与 精确 上 度 这 一 对 蔬 盾 ,犹如 概 设 检验 中 的 犯 第 一 类 错误 的 概率 
与 犯 第 二 类 错误 的 概率 这 一 对 天 盾 , 完 全 与 Neyman 和 Pearson 的 假 
设 检验 理学 的 基本 思想 相 类 似 ,Neyrman 建议 采取 某 种 折 训 方案 ;在 使 
得 置信 系数 达到 -- 定 要 求 的 前 担 下 ,寻找 精确 庶 尽 可 能 高 的 区 和 间 个 计 ， 
也 就 是 寻找 区 闻 平 均 长 度 尽 可 能 得 ,或 者 区 则 包含 非 可 值 的 概率 尽 可 
能 小 的 区 间 估 计 . 注意 ,区 间 平 均 长 度 尽 可 能 短 与 区 人 间 包 含 非 真 值 的 概 
率 尽 可 能 小 ,这 两 个 要 求 可 能 同时 达到 ,也 可 能 不 同时 达到 ， 


了 4.1:4 办 恼 水 平 


在 Neyman 的 这 种 思想 指导 下 ,寻找 一 个 好 的 区 问 居 计 , 就 是 对 选 
定 的 一 个 较 小 的 数 a40 之 a 二 1), 在 置信 系数 不 小 于 1 -a, 即 满足 
Pi A ECUXI 1 a, YOEHD (4.1) 
的 区 闻 知 计 中 ,寻找 这 样 的 区 网 估计 ,使 得 区 间 的 平均 长 并 Beat 名 (X) 
一 CX)1 尽 9 吕 能 租 ,或 者 使 得 区 间 和 包含 非 真 值 的 概率 Pe 了 (XJ) 起 
页 (X)} 尽 可 能 小 ,其 中 邮 夭 中 


$4.1 幕 本 概 售 、 " D65 。 


定义 4.3 满足 (4.1) 式 的 区 间 佑 计 称 为 置信 水 平 为 1 一 “的 置信 
区 间 ,或 简称 为 1 ~ 置信 区 间 . 

a 是 事先 选 定 的 . 我 们 常 权 0.1,.0.05,0.0] 等 作为 = 的 值 . 与 假设 
检验 相 类 似 : 对 给 定 的 置信 水 平 1 一 ea* 大 们 总 是 力 儿 构造 这 样 的 区 间 
佑 计 ，, 使 得 (4. 1) 式 得 到 满足 ,并 且 译 少 存 在 一 个 8E 日 .使 得 

Pr XY EE = 1 
这 意 对 着 览 信 水 平 被 “ 足 量 ” 她 使 用 了 ,以 满足 区 问 稀 精 确 度 尽 可 能 高 


的 要 求 . 为 此 ,我 们 在 个 4.1 中 到 4 一 那么 


- 
i 一 一 11), 又 + -2 . fat -D| 
A vw 机 


三 


就 是 正 态 均值 疡 的 置信 和 水平 1 一 a 被 “是 量 " 地 使 用 的 置信 区 疗 ， 
譬如 ,从 正 态 总 体 Npeyo*) 和 者 取 容 量 为 10 的 一 个 样本 , 设 样本 观 
察 值 为 
TE 72d4 762 TB 77.4 78.4 760 75.05 767 77.3 
志 此 算得 广 一 76.23, 必 二 1.82,， 若 要 求 六 的 95%% 轩 售 区间, 这 就 是 说 


1 一 =0.95, 生 一 0.025. 由 + 分 布 青 查 得 6s19) 一 2. 26. 代 人 


2 
x- | 一 “tom 9) 可 十 2 * een (9) | 长 本 2 
v10 vi0 
可 算得 
| 76. 23 一 1.82 * 2.2676. 23+ 32 “2 26 | 
vi10 vi0 
即 


[76. 23 — 1.30,76, 23 十 1 30] 
所 以 点 的 95 号 婉 信 区 得 为 [74. 93,77. 531]. 
确切 地 说 ,174.93,77, 53] 是 的 95 听 币 信和 区 辣 (4.2) 用 在 一 个 具 
体 样 本 时 的 一 次 实现 . 必须 指出 的 是 ,虽然 g 未 辕 ,但 它 是 一 个 常数 . 
区 站 174.93,77.53] 内 要 会合 有 ,要 人 么 不 人 当 有 mr 两 者 必 居 其 一 ,无 概 
率 可 言 . 置 入 水 平 为 95 叫 是 对 (4.2) 所 表示 的 置信 人 多 间 而 言 的 . 它 的 舍 
疙 是 : 如果 将 (4.2) 反 复 用 在 一 个 个 贞 体 样本 上 ,在 这 很 凶 个 实现 中 ,大 
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-里 -一 ”一 


约 有 95 具 个 实现 含有 mr, 大 的 有 5 上 个 实现 不 食 厢 jp. 图 4.1 是 一 个 随 
机 模 所 的 结果 . 从 均值 x 二 50 000 和 一 5 000 的 正 态 总 体 中 障 机 最 出 
100 个 容量 为 4 的 样本 .图 上 的 每 一 条 竖 线 表 示 由 一 个 具体 样本 算得 
的 一 个 党 信 区 他. 情形 4 表示 50% 兴 信和 区 间 , 其 中 入 约 有 50 个 置信 区 
间 包 仿真 实 参 数 ;情形 BB 表示 90”% 置 信和 区间, 上 其 中 大 约 有 90 个 置信 
区 间 包 会 点 实 参 数 x 情形 4 和 8B 分 曾 是 置信 水 六 为 50 听 和 90% 的 直 
观 解 释 . 


0 10 20 30 40 0 0 70 0 110 
情形 A,50% 置信 区 间 


0 和 0 有 要 人 0 7 有 0 1 的 
情形 请:90% 置信 区 间 


图 4.1 对 从 均值 np 一 50 000 和 o=5000 的 正 态 总 体 中 随机 取出 
1090 个 容量 为 4 的 样本 计算 得 到 的 置信 区 间 . 
情形 4 表示 50%% 轩 售 区 闻 ; 情 形 辣 表示 90 闻 鉴 信 区 亲 . 


例 4.2 设 样 本 蕊 =(X 0 来自 正 态 总 体 Ntao) 其 中 
一 co<Ap<ecco>0. 考虑 到 严 为 尺度 参数 ,我 们 采用 形 如 [eaS ,505?] 
的 区 间作 为 0 的 区 间 佑 计 , 其 中 Qa<b,5 = > ( 义 , 一 服 》? 为 样 


r 


本 方差 . 
， a Cn—1)S? 加 
设 参 数 真 值 为 ,由 于 Cm 一 1), 所 以 车 a 和 上 满足 下 
述 条 件 
， 一 — 1)S* 一 
Pilas Sr bs) Pr iE < 
mn—l 
= ee- Ddx —1 一 《4. 3) 
mr-1 
TE 


测 区 间 [as: ,537 1 就 是 vw 的 1- -a 置信 多 间 , 其 中 内 tr|n 一 1) 表 示 自 由 
度 为 n 一 1 的 分 布 的 密度 隔 数 . 
该 区 间 的 平 刚 长 度 为 
了 Bo 00, Es {& = (6 a 
到 一 下 三 

根据 Neyman 的 区 间 估 计 理 论 的 基本 好 想 , 我 们 需要 解 下 述 的 条 件 极 
值 问 题 , 好 找 a 和 上 4 上, 刁 得 

a 和 号 满足 人 4 3) 式 

[an 一 - 他) 
由 {4.3) 式 知 , 可 以 看 作 是 a 的 函数 , 记 6 一 Bla). 令 f(a) 一 b(a) 一 a. 
在 (4.3) 式 的 两 边 对 4 求 导数 .由 此 可 以 办 得， 


1 一 1 1 1 nO—1l 1 
六 "x | 1 六 Bp” li" (a 一 0 
大 而 由 广 (a) 一 (4) 一 1 二 0 推 得 
1 sj #1 1 1 本 好 -一 1 | 
二 | 一 |。 1 |= 名 | ; F 1| (4. 4) 


所 以 在 形 如 [as ,as 的 1 一 号 信 区 间 中 ,由 (4 37 利 (4. 43? 两 式 确 定 
的 aa 和 5 区 问 的 平均 长 度 达到 最 短 ， 

在 形 如 fs ,5555 的 1 一 & 置 信 区 间 中 ,区 站 包含 非 真 值 的 概率 尽 
可 能 小 的 问题 留待 后 面 讨 论 . 

在 实用 中 常 到 4 和 上 5 满足 下 列 条 件 以 致 陡 (4.3) 式 成立 . 
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ml 


a 5 
| ya : _ a 
|* Cx |n Tydx 7 jx (x la 1 dz 
即 取 a 和 5 满足 茶 件 ; 
“nD, “二 = 1y 


所 以 在 实 央 中 常 取 of 的 :一 a 置信 多 间 为 

(一 1 (x 1) | 

G1) 
a 2 J 


上 


§4.1.5 置信 限 


在 实际 问题 中 ,人 们 有 时 仅 对 未 知 参 数 的 置信 下 限 或 置信 上 限 感 
兴趣 .车 如 .电视 机 的 寿命 要 求人 请 大 诊 好 ,因此 人 们 关心 的 仅 是 某 种 型 
号 的 电视 机 的 平均 寿命 的 置信 下 委 ,因为 它 的 大 小 慰 志 着 电视 机 的 质 
量 的 好 坏 , 又 如 , 药 牺 的 副作用 要 求 意 小 傅 好 , 轿 此 人 们 关心 的 仅 是 某 
种 药物 的 副作用 的 置信 上 眼 , 因 为 它 的 大 小 标志 着 该 药物 的 质量 的 好 
坏 , 对 这 些 癌 题 去 寻求 两 端 部 为 有 界 的 置信 区 间 就 没有 必要 了 . 

定 久 4.4 设 有 统计 量 名 ( 叉 ). 如 果 对 选 定 的 一 个 较 小 的 数 a(0< 
a< 1 有 

Fe 站 (一 ee YOER 《4. 5》 
则 奈 ( 瑟 ) 称 为 如 的 ( 田 信 水 平 为 )1 一 “( 单 侧 ) 置 信 下 限 . infPe (0> 
(X)) 称 为 置信 下 限 的 置信 系数 . 类 似 地 , 设 统计 量 $$.(X) 满 足下 述 
条 件 ， 

Pi 和 页 (YX)) 产 1- a YOERD (4. 6) 
则 名: (下 ) 称 为 8 的 (置信 和 水平 为 )1--al 单 侧 ) 置 信 上 限 . infPe {9 
夺 ( 芝 )} 称 为 置信 上 上限 的 置信 系数 ， 

显然 ,对 置信 下 限 名 (来 说 ,EL 页 (XD)] 全 大 ,党 信和 下 限 的 精度 瘟 
高 ;而 对 置信 上 限 负 (X) 来 说 ,EofbCX)] 傅 小 ,置信 上 限 的 精度 人意 高 . 
此 外 ,车 套数 盐 值 为 89, 则 对 置信 下 限 南 (到 ) 来 说 ,在 <8 时 ,六 太 于 或 


$4.2 构造 置信 区 间 ( 和 置信 限 ? 的 方法 “269 。 


等 于 各 (X) 的 概率 P18 守 轴 (了 X)} 便 小 ,置信 下 限 的 精度 僵 高 . 同样 地 ， 
对 置信 上 了 眼 上 (Xi) 来 说 ,在 8 全 0 时 , 引 小 于 或 等 于 大? 的 概率 
Poel sb:CE)} 意 小 ,置信 上 限 的 精度 愈 高 . 
根据 Neyman 的 区 间 和 估计 的 基本 思想 ,寻找 一 个 好 的 置信 下 限 ! 或 
置信 上 限 ) ,就 是 对 选 定 的 -个 较 小 的 数 eC0<zc 近 1) .在 置信 水 乎 为 1 
4 的 党 信 下 限 ( 或 置信 上 限 ) 中 :二 找 精度 尽 可 能 贞 的 置信 下 限 ( 或 置 
信 上 限 ). 


Ad4.1. 和 6 置信 域 


淖 信 区 间 的 概念 可 以 推广 到 多 个 参数 的 情况 . 

定义 45 设 ( 邓 , 光 ,2 到) 为 一 参数 统计 结构 ,其 中 到 一 1Po : 9E 
加 CR ,9 一 (如 、… ,0.). 假 设 S(X) 满 足下 述 共 性 

《1) 对 任意 一 个 样本 观察 值 x ,SCr) 基 旭 的 一 个 于 集合 ; 

《2) 对 给 定 的 af0<a< ly ,PABESCOXIIE] rr, YoEN. 
则 称 SCX) 是 8 的 (置信 和 水平 为 }1 一 a 和 书信 域 ( 或 置信 和 集 ), 而 概率 
Pet8ES(X) 在 参数 空间 昌 上 的 下 确 和 界 称 为 置信 域 的 甸 信 系数. 

党 信 域 的 形状 可 能 是 多 种 多 样 的 ,但 常用 的 是 一 些 有 规则 的 几何 
图 形 , 如 长 方 体 、 球 , 李 球 等 . 在 置信 域 是 长 方 体 , 昌 长 方 体 的 各 个 面 与 
坐标 平面 平行 时 ,此 置信 域 又 称 为 联合 区 间 居 计 . 

本 章 首 重 讨 论 单个 参数 的 置信 区 间 和 置信 和 限 的 冲 题 ,至 于 多 个 参 
数 的 私信 域 的 问题 ,可 参阅 有 关 包 元 统计 分 析 的 教材 . 


$ 4.2 构造 置信 区 间 ( 置 信 限 ?的 方法 


#4.2.1 和 枢 轴 量 法 


设 入 和， 喇 , 略 ) 为 一 参数 统计 结构 ,其 中 一 {Ps : 6EBCR*}. 可 
以 校 下 列 三 个 步骤 构造 了 一 8 人 的 置信 区 向 ( 限 ). 
ti) 构造 样本 和 和 和 参数 了 的 -: 个 丽 数 G=C0X.7) ,要 求人 各 的 分 布 
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与 站 无 关 . 具有 这 种 性 质 的 函数 称 为 柜 轴 重 . 
(2) 对 给 定 的 et0<a<<1) ,选取 两 个 常数 < 动 eice<c) ,使 得 
Poe SOUXDEAd) 之 la, YOED (4.7) 

(3) 如 果 不 等 式 c 乏 GG( 是 ,7) 所 a 可 等 人 前 地 变换 为 办 (天 ) 且 3 科 

狗 《 训 ?那么 

局 (有 了 过 NANI 之 1 一 a， YEd (4.8) 
则 [ 训 《X)7 ,CX)J 为 73 的 一个 汗 信和 水平 为 1 一 x 的 办 信和 区 间 . 在 GCX， 
?是 ? 了 的 连续 .严格 单调 函数 时 ,这 两 个 不 等 式 的 等 价 变换 总 是 可 以 墩 
到 的 . 

类 似 邮 ;选中 常数 c( 或 d) ,使 得 PetfcssC(XE ,7)) 守 1 一 a( 或 Pold 
之 个 (天 ,91--a ,可 议 构 造 出 7 的 置信 和 限 . 

例 4.3 设 样本 名 二 (Xiw%…, 并 ,) 来 自 均匀 分 布 总 体 U50, 丰 ;其 中 
0. 对 给 定 的 at0 二 a 之 1), 敏 构造 8 的 置信 水 二 为 1 一 a 的 置信 区 
条. 

解 :由 于 最 大 次 序 统 计量 四 二 max {这 1 , 叉 ,是 站 的 MLE, 记 
是 和 的 充分 统计 量 ,所 以 我 们 基于 最 大 次 序 撤 计量 XX.,; 构 造 48 的 区 间 


估计 的 想法 是 可 取 的 . 因为 一 六 的 害 度 函数 为 。 > :(0<y<1), 故 取 


枢 轴 量 G(X， 的 = 全 -人 .对 欠 定 的 w(0<a< ,只 要 4 和 BCecapy 油 足 


Xo| =1 一 “ 由 不 等 式 等 价 变形 


态 (n) ,这 


条 性 : 扬 -a 二 1:-a;y 就 有 Ps 


a 


可 以 得 到 0 的 置信 水 平 为 1 一 a 的 置信 区 间 | 到 这 里 我 们 仅 考 
虑 区 间 的 平均 长 度 鳃 短 您 好 的 精度 要 求 . 则 取 65 一 1,4- Ya ,从 而 在 
形 如 |[ 污 ”， “名 ] 的 置信 水 平 为 1 一 g 的 红 信 和 区间 中 ,区 闻 


[x 的 平均 长 度 达 到 最 短 (为 什么 ? 见习 是 4. 1). 


设 8.3.5.0,1.7,2.9,4.3,1,8,4.6,5.8,1.6,6.6 是 肥 自 均 久 分 布 
间 为 [8. 3.11.2]. 
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在 例 4.1 中 ,我 们 讨论 了 单个 正 态 总 体 均值 # 的 区 同 估计 问题 .如 
困 取 4= V7 。 六 二 <~tn 一 1) 作 为 枢 轴 量 ,构造 的 置信 区 间 ( 限 ) 就 


比较 容易 了 . 在 例 4.2 中 ,我 们 讨论 了 单个 正 态 总 体 方差 or 的 区 间 佑 
计 问 题 . 如 果 取 六 一 五 ”22 (Xi 一 子 )*~~ 六 (一 1) 作 为 要 轴 量 ,构造 o 


的 置信 区间 + 了 有限) 也 就 比较 容易 了 . 

例 4.4 设 样本 芒 一 《Xi 玉 w) 和 了 一 《YY,) 互 相 独 立 . 它 
们 分 别 来 自 正 态 总 体 NA) 和 六 (po 其 由 一 交 所 Hop 一 co 
二 二 .0 >0， 这 是 方差 相等 的 两 个 正 态 总 体 . 现 冉 论 它 们 的 均值 差 
8 一 所 一 /2 的 区 间 估 计 问 题 ， 


地 
， Wn Cm 十 用 一 2 ， 
| 班 十 天 


区 一 了 一 分 


人 er Vy, ~ Fy 
作为 枢 轴 量 ,不 难得 到 3 的 置信 水 平 为 1 一 “的 置信 区 间或 置信 上 限 . 

例 4.5 设 样 本 所 一 (CE 和 了 一 (7 YY 互相 独立 , 它 

们 分 别 来 自 正 态 总 体 和 NC,o33 和 NCpayo2) ;其 中 一 2 之 所 芝 50 ,一 o0 


一 1 nm— 2) 


2 
o>0.02>0, 现 讨论 这 两 个 正 悉 总 体 的 方差 之 比 p 一 气 的 区 
间 估 计 问 题 . 


取 
> 7: 一 了 
下 = 1 ‘~ FP - 1m 1) 
(成 一 XR): 


作为 柜 轴 量 , 不 难得 到 的 置信 水 平 为 1 一 a 的 普 信 区 间或 置信 限 . 
在 样本 容量 充分 天 时 ,有 时 可 用 渐 近 分 布 来 构造 近似 的 置信 区 间 . 
我 们 用 下 面 的 例子 来 说 明 这 个 方法 . 
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例 4.6 设 样本 乓 一 (来 自 二 点 分 布 总 体 81, 户 )， 其 中 
Oo<p<1， 欲求 请 的 置信 区 间 . 
解 : 的 MLE 为 六 -= 瑟 , 电 中 心 极限 定理 知 ,在 ”co 有 时， 


必 A NC0.1) 


wptl 一 办) 
所 以 在 样本 容量 充分 大 时 ， 
LALA A . 
P| 下 Vp D5 | 1 好 C4. 9) 
其 中 4 二 0 -oz 由 此 得 户 的 置信 水 平 近似 为 1 一 x 的 置 入 区 间 [$i， 
vj, 其 中 
sn) fap, 
A [s+ 4 V/ 四 困 
* p(B) 
Hr 国 十 让 -| 十 一 3 14/2 ; £ 2 | 
在 实用 中 .由 户 - 一 "pCn>o0) 知 
.oP ,NGO0,D), re my 
v0 — $B) 
从 而 在 样本 容量 ”充分 大 时 ,我 们 有 
rE . 
Pp “人 | 1 a (4. 10) 
由 此 得 pp 的 置信 水 平 近似 为 1 一 a 的 置信 区 疝 为 
3p 1 一 及 | C4. 11) 
_ 本 四 


在 实际 问题 中 常用 区 间 估 计 44. 11), 它 较为 简单 ,这 个 区 间 和 估计 经 
过 了 末次 近似 . (4.9) 蕊 是 第 一 次 近似 . 其 (4.9? 式 到 (4. 10) 式 ,把 分 母 
中 的 记 搞 为 疡 ,这 是 第 二 次 近似 .所 以 若 用 区 向 估计 (4.113 ,样本 容量 
n 必须 较 上 大 ,否则 置信 水 平 与 1 一 x 有 较 太 的 差距 . : 般 要 求 n 不 小 于 
30. 1 

区 间 佑 计 (4.11) 可 用 末 确 定 样本 窜 量 . 譬如 , 基 轩 (或 革 地 区 ) 要 了 
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解 公众 对 某 项 政策 的 支持 率 p. 如 果 要 求 估计 值 与 真 值 之 冶 的 最 
大 误 差 不 超 过 3 噬 , 旦 愤 迟 系数 为 95 上 , 则 应 随机 地 油 查 密 少 居民 ?由 
于 居民 很 多 ,所 以 可 访 为 总 体 是 二 蕊 分 布 B(1.). 取 4 一 Uo gs 二 1.96， 
虽 由 54. 117 式 知 


| 7 页 站 BYy 
Pp- 1.96: “20 PB = 


{1 一 一 BB) 
一 pp+il96. "2 Bo 95 
Vn 本 


从而 上 
| Bp — By | 
P ) 一 】. 电 有 一 一 一 一 一 95 
1 Pi 所 | 


由 于 Dipss] 一 户 守 0.25. 则 为 了 使 得 1 1p 一 p| 志 35%} 寺 


5:, 儿 须 样 本 容量 =” 满足 下 述 条 件 :1. 06 ， 一 一 过 3 妃 即 可 ,这 亿 


全 25 


就 是 说 n>|1. 96 。 全 本 | =-1067. 所 以 即 全 “个 国家 的 居民 上 亿 ， 
各 

在 做 关于 支持 率 的 民意 调查 时 ,只 要 随机 访问 1087 个 居民 ,就 可 使 得 

支持 率 的 估计 信 与 真 值 之 间 的 最 大 误差 不 超过 3 具 , 且 置 信 系 数 近似 

六 951%4. 


$4.2.2 基于 连 继 了 殖 机 变量 构造 宣 信 区 间 


一 般 来 说 , 敏 构 造 上 的 置信 水 平 为 1 一 a 的 置信 和 区间 ,我 们 首先 考 
虑 8 的 MLE, 或 8 的 人 充分 统计 量 . 然后 据 此 得 到 了 一 个 统计 量 人 一 
TR), 并 基 十 T( 玉 } 寻 找 枢 轴 量 ,然后 构造 8 的 置信 区 间 , 或 太 样 本 时 
构造 8 的 近 基 的 前 信 区 间 . 

在 统计 量 全 (X}) 是 连续 随机 变 景 时 ,寻找 枢 轴 量 不 是 一 件 难 事 . 设 
TX 的 分 布 函数 为 G0 人 一 PeiTCK) 坟 Ef) ,那么 CTCX), 提 服 从 区 
间 人 0,1) 上 的 均 名 分布. 这 时 GCTCX),) 可 被 收 为 枢 轴 量 , 具体 做 法 看 
下 面 的 例子 . 

例 4.7 设 基 = (Xi X.) 是 来 自 密度 亢 数 为 


plr;0) = 所， 0 < 
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总 体 的 样本 . 试 求 上 的 党 信 水 平 为 1--a 的 置信 和 区间. 
解 : 最 小 次 序 统计 量 号 一 min{ 瑟 iv: 瑟 )} 是 8 的 MLE, 也 是 8 的 
充分 统计 量 ,所 以 我 们 将 基于 最 小 次 序 统 计量 了 X,: 和 构造 8 的 区 间 情 计 ， 
全 二 翌 收 的 密度 负数 和 分 布 蝴 数 分 别 为 


gt:0) = 2 00St 


和 和 人 fs 人 一 1 一 人 ， 全 Et i 
则 枢 轴 量 可 取 为 
G(X = 1 一 起 ~ U0,1) 
《3 
选取 两 个 常数 = 和 20<e<ec1) 使 得 了 4 一 c< 王 1 一 a, 则 有 
1 < 一 1 .8 -一 |= _ 
Deic1 Td 1 rx 


从 而 有 的 置信 水 平 为 1 一 a 的 冒 信 区 间 [ I 二 4 .X,Y 一 c .Xo ]. 
考虑 到 区 间 的 平均 长 度 盖 短 印 好 的 精度 要 求 , 如 何 选 取 c 和 4 的 问题 
页 习题 4. 2. 

在 了 iX) 是 连续 随机 变量 时 ,GCTCX), 有 办 可 被 取 为 枢 轴 量 , 其 中 
GU 人 二 PolTCXISt} 是 TCX) 的 分 布 羡 数 , 用 枢 轴 量 构造 8 的 置信 区 
间 的 第 三 个 步骤 中 ,不 等 式 :所 GCT (及 ),) 志 4 可 等 价 地 变 措 成 
人 (TCX)) 寺 0A(T(X)) 的 关键 之 处 在 于 ,TCX) 的 分 布 函 数 G(t,6) 
是 8 的 昔 润 函数 .这 在 本 二 TT(X) 的 概率 密度 族 关 于 TtX) 具 有 单调 似 
然 比 (MLR}) 时 ,总 是 可 以 做 到 的 . 这 时 GC, 四 是 8 的 一 个 非 增 (或 非 
降 ) ,其 至 严格 单调 的 阴 数 ( 见 定 理 3.7 和 定理 3.802)). 


34.2,3 基于 离散 随机 变量 构造 置信 区 间 


如 果 统 计量 了 (XI) 是 高 散 随 机 变量 ,那么 GCT'(X) .的 就 不 服从 区 
癌 (0,1) 上 的 均 名 分布. 其 中 GG 站 二 Po{T(X) 扩 ti1 是 (KC) 的 分 布 滴 
数 . 这 时 关于 GTX 27 有 下 面 的 结论 , 据 此 可 以 构造 出 8 的 置信 区 
启 . 
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引 悍 4.1 设 Fitz) 是 随机 变量 六 的 分 布 函 数 .车 0 所 y 护 1, 则 有 
PIFIOXYS yyEPIEXA. < y) 
证 明 : 首先 分 下 面 丙种 情况 证 明 左 边 的 不 等 式 . 
情况 1;: 设 集合 ix : (rz) 一 y} 非 空 ,并 且 该 集合 的 上 确 界 可 以 达 
到 , 芭 


To = sup{trt FOC) = y)} EE {rr F(tr) = y} 
则 碍 
PIFCX) y= 二 PI To 二 P(x) 一 了 

左边 的 不 等 式 成 立 . 

情况 2: 设 集 台 {z :FCr) 一 y} 是 空 集 ,或 者 个 集合 虽然 非 空 ,但 它 
的 上 确 界 不 能 达到 . 则 耳 数 F(z) 存在 这 样 的 一 点 x, 使 得 F(z 一 0) 寺 yy 
达 Ftxr). 则 有 
PIF(OXY Sy)} = PIFCXY < Fr) = PINX < Xx} = Fr — Oy 
这 就 让 明了 左边 的 不 等 式 . 

岗 在 证 明 右 边 的 不 等 式 . 令 Z 二 一 义 , 并 没 Z 的 分 布 酒 数 为 Gz). 
根据 已 证 明了 的 结果 ,有 PP{GCZ) 所 1 一 yy 所 1 一 yy. 由 于 

Gz) = PZE2}) = PiK 守 一 2) 1— Fe—%— 0) 

所 以 

1—yPIF(—— ZO) 之 y=1— PIF(X— 0) < y} 
从 而 在 P{F(KK 一 0) 之 y} 字 yy. 右边 的 不 等 式 得 让 . 引 理 证 毕 ， 

如 此 志 (x-) 是 连续 函数 , 则 据 引 理 4.1, 有 PIFTCXD) 寺 yy} 一 y(0<y 
入 1). 这 说 明 下 ()~U(0,1). 这 是 关于 连续 随机 变量 的 著名 结论 - 所 
岂 引 十 4. 1 是 把 这 个 结论 推广 到 任意 分 布 族 数 上 去 得 到 的 针 果 ， 
如 果 了 (XI) 昆 离散 随机 变量 ,其 分 布 务 数 为 品 避 的 一 天 zz) 扫 
地 ; 则 由 引 理 4.1 知 ， 

PAGIT ONIN Ey Ey PAGOTHX) — 0,0 < yy} 

对 任意 的 0 委 y 守 1 和 -一切 的 8€ 昌 缘 成 立 . 据 此 可 以 枸 造 出 8 的 置信 区 
间 . 

设 (和 ,5 沱 . 到) 为 -- 单 参数 统计 结构 ,其 中 一 {Py 8E BCR}. 
设 和 = 是 来 自 该 单 参 数 统计 结构 的 :个 样本 . 对 给 定 的 
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a0<a< 1): 答 构 千 吕 的 置信 水 平 为 1 一 “的 置信 区 间 - 首先 ,我 们 考虑 
8 的 MIB 或 #8 的 充分 统计 量 . 然后 据 此 得 到 了 一 个 统计 量 T=T(X》， 
并 基于 TtX} 构 造 8 的 置信 区 间 . 设 了 二 TC(X) 的 分 布 函 数 为 Gz ,四 . 
定理 42 如 果 G(i.9) 是 9 的 严格 减 疯 数 , 则 对 给 定 的 
oD el}, 
8 一 sup{e :OT -0 守 ] -a (4. 12) 
;二 inf {8 : GT, EE) cd.13) 
分 别 是 8 的 置信 水 平 为 1 一 a 的 性 信 下 限 和 1 一 a 的 兽人 和信 上 限 . 
证 明 : 由 于 CGG 人 是 2 的 严格 减 画 数 , 所 以 在 CT -0, 人 <] 一 a 
时 ,必然 有 pz 入. 则 据 引 理 4. 1 知 
Pi 站 GT 一 0 人 < 一 1 
《4. 12) 得 证 . 同样 地 ,在 GET, 站 之 & 时 ,必然 有 9 所 扩 ,, 从 而 据 引 理 4.1 
知 ， 
PeAOEB PAGOT OO > a=1— PAG(TD EAE1—a 
《4. 13) 得 证 . 证 毕 . 
利用 定理 4.2, 即 得 下 面 的 定理 . 
定理 4.3 如 虚 GC, 四 是 8 的 严 楷 减 函数 ; 则 对 给 定 的 e(0<<e< 
1),8 的 置信 水 平 为 1 一 a 的 置信 区 间 为 [名 , 疝 ], 其 中 
页 一 subtg GT -O01 a = in{f{lf: G(T ,0 < or) 
BE 得 EE 
这 里 的 a 十 2 一 8, 且 0 过 aas< 扫 ]， 
常 根 据 区 间 的 平均 长 度 傅 短 愈 好 的 精度 要 求 , 选 取 mm 和 - 在 根 


据 这 个 要 求 选取 m 和 w 有 困难 ,或 较为 复杂 寺 , 可 取 au 一 呈 一 了 了， 


如 果 已 避 ,的 是 吕 的 严格 增 函 数 , 那 么 瑟 民 :的 是 一 日 的 严格 减 本 数 ， 
由 定理 4.2 和 定理 4.3 可 以 得 到 一 8 的 置信 区 间 ( 限 }, 从 而 有 下 述 定 
理 . 
定理 44 车 GG 站 是 8 的 产 格 增 函 数 ， 
《1) 则 对 给 定 的 wxCD<a<<1)， 
0, 一 inft9， G(T ,0) < 


§ 4.2 构造 置信 区 间 ( 置 信 限 ?的 方 活 * 277。 


.= su 人 CT 一 0 人 之 1 一 人 

分 别 是 的 置信 水 六 为 1 一 a 的 置信 下 限 和 1 一 a 的 党 信 上 限 ; 

{2) 则 对 给 定 的 a(t0<a<1) ,8 的 置信 水 于 为 1--e 的 置信 区 阿 为 
EB ,六 ] ,其 中 
页 = inf {9 : CTS 而 一 suB10 (一 0 你 1 一 后) 
这 里 的 ea Fe 二 a; 县 0 拓 aleo 扫 于 

在 tt 是 乡 的 连续 严格 减 画 数 时 ,关于 避 的 方程 CG(T 一 0 分 一 
1 一 < 各 人 力 一 上 的 解 分 别 是 集合 1: CC 一 0: 访 之 1 一 中 的 上 确 界 
和 集合 :8: GCT 及 所 o 的 下 确 界 .因此 上 述 两 个 定理 可 以 得 到 简化 . 

定理 4.5 如 果 Gt 的 是 8 的 连续 .严格 减 明 数 ,那么 

C1) 关于 8 的 方程 上 (CT 一 6, 六 = 二 1 一 a 的 解 居 8 的 置信 水 平 为 1 一 a 
的 置信 和 下限; 

C2) 关于 8 的 方程 G(T 了 ,站 二 a 的 解 是 8 的 置信 水 平 为 1 一 a 的 置信 
上 上 限 :; 

(3)8 的 置信 水 平 为 1 一 “的 置信 区 间 为 [及 ,加 ] ,其 中 砚 和 记分 别 
是 关于 吕 的 方程 GCT 一 0 人 一 1 一 o 和 G(T,0) 一 a; 的 解 ,; 这 里 的 ww 十 
2 一 Q HH 0a ,rl. 

定理 4.6 如 果 避 (有 是 和 的 连续 .严格 增 函 数 ,那么 

《1) 关 于 8 的 方程 如 (了 ,的 一 < 的 解 是 8 的 置信 水 平 为 1 一 a 的 置信 
下 限 ; 

(2) 关 于 8 的 方程 Gt 一 0, 站 一 1 一 a 的 解 是 8 的 置信 水 平 为 1 一 = 
的 置信 上 限 ; 

C3)8 的 置信 水 平 为 1 一 a 的 性 信和 区 间 为 [8 , 站 :j. 其 中 笛 和 记分 别 
是 关于 站 的 方程 CT， 们 一 站 和 GT 一 0, 闪 一 1 一 & 的 解 , 这 里 揭 四 十 
如 一 4 日 0son a 和]. 

定理 4.5 和 定理 4.6 的 证 上 明 从 赂 . 

例 4.8 没 衬 本 蕊 一 (和 来 自 二 点 分 布 总 体 81 其 中 
0 守信 1, 欲求 p 的 置信 区 间 . 

解 : 在 例 4. 5 中, 我们 在 样本 容量 x 充分 大 的 寺 候 ,给 出 也 的 置 


= 27& > 第 四 章 区 向 估计 


信 水 平 近似 为 1 一 a 的 置信 区 间 . 现在 使 用 定理 4.5 吕 得 到 p 的 精确 的 
置信 区 亲 . 

由 于 p 的 MLE 为 及 ,并 且 的 充分 统计 量 为 了 = 3”,X,, 所 以 
我 们 将 基于 个 构造 p 的 置信 区 间 . 了 的 分 布 函数 为 


[| 下 ， 
GOPp) = PT SAH) = > | "| “pl Co— pp)" 
i 


1 一 】 


其 中 4] 表示 10 地 二 n) 的 整数 部 分 ,不 难 验证 下 列 等 式 成 立 ， 
a roe+D 
>) dT FTF Te 
[i "Edak = 0,l"n 1 
* 


由 此 及 恒等式 D7 | “2 ， 0 一 py 一 1 可 网 ,了 的 分 布丁 数 
G(s 是 的 连续 .严格 城 函 数 . 
由 样本 外 二 (X,,.…, 义 ,) 算 得 的 了 二 可 ”Xi 必定 是 一 个 下 整数 . 
令 其 为 所 在 4>>0 时 ,利用 定理 4 5, 则 性 的 置信 水 平 为 1--x 的 秸 信 下 
限 是 下 列 方程 的 解 
三 | 站 
| 


2 


:= 


(1p) =1l—a 《4, 14) 


i 


也 就 是 下 剂 方程 的 解 
FE 1) 
Tgy Tink 二 1) 
他 Beta 表示 Betm,r) 分 布 的 分 布 函 数 , 则 上 式 简 化 为 
Beltplk.n—kE+1)=a 4.15) 


不 难 验 证 , 音 吾 一 Be mayy 刚 r= = P22n). 所 以 方程 


《4. 157 可 等 价 变换 为 
| .一 此 十 1 
‘1—p 并 
其 中 Fitrimn} 表 示 玉 Cm 分布 的 分 布 旺 数 .因此 记 的 属 信 和 水平 为 
1 一 a 的 置信 下 限 Br 是 下 列 方程 的 解 


p 
-| la" dx = a 
EE 


3202 一 家 十 Dy 一 


§ .2 相 造 便 信 区 间 ( 重 信 最 ?级 方法 ，279 * 


Pp -一 = F,(2k,204 一 上 十 1)) 


1 -Pp 
由 于 

i 
并- -十 1) ,28) 


2.207 一 此 十 1)) 一 


则 有 
上 器 
一 
在 = 二 0 村 , 取 pi 一 0. 
类 位 地 ,出 定理 4.5 知 ,在 这 nn 时 ,pp 的 旺 信 水 平 为 1 一 a 的 置信 
上 限 和 是 下 列 方 各 的 解 


Ein 
S| po pa 
7 一心 [| 
把 它 与 (4. 14) 式 进行 比较 ,不 难看 到 Bw 是 下 列 方 程 的 解 
_p nk ye 
1—p A | 


所 以 
BD Fk + ,20n — £)) 
| Cn 2 十 1) 
在 吾 一 m 时 , 取 pr 二 1. 
由 上 述 结 由 可 知 ,p 的 置信 水 平 为 1 一 a 的 置信 区 间 为 L# ,puj, 在 
0 一 上 < 村， 


< 上 

ME kT F.C kt1),2k) 
(B+ 1) Fo C2 + 1),2Cn — &)) 

MT A FR D2 ET tt i) 


这 时 的 mm 十 oo, 且 0<o ,ww 访 1. 实用 时 常 取 aa 一 必 一 忆 - 
在 有 一 0 时 .本 


Fal2,2n) 
ne F222x) 二 1 


pr 一 0， Bu 
在 上 二 n 时 , 取 
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Ei 


站 一 1]， pr = 并 十 页 (2 207 


8$d4.2.4 区 间 佑 计 和 假 届 检 验 


假设 检 驼 和 区 间 估 计 这 两 个 统计 推断 闻 题 看 似 完 全 不 同 , 而 实际 
上 两 者 之 间 有 着 非常 密切 的 联系 . 正 因为 如 此 .Neyman 才 可 以 将 
Neyman 和 Pearson 的 假设 检验 理论 的 基本 息 想 推 1 到 区 间 估 计 . 

由 参数 假设 检验 问题 的 水 平 为 a 的 检验 ,可 以 得 到 该 参数 的 置信 
水 平 为 1 一 a 的 置信 区 间 ( 置 信和 有 限 ). 反之 亦 然 . 例如, 设 样本 及 二 (Xi， 
来 前 止 态 疙 二 No 人 其 中 :一 ce 二 Ac 人 0 考虑 双边 
候 设 检验 问题 ,Ti :二 jw 对 可 |! 了 po 我 们 知道 , 它 的 水 平 为 的 
UMPU 检验 的 拒绝 域 为 

We 1)| 《4. 16) 
必须 指出 的 是 ,由 十 这 里 的 随机 变量 是 连续 型 的 ,所 以 (1.16) 式 中 的 不 
等 号 ">>" 吕 以 搞 为 “ 关 ” 使 用 “法” 是 为 用 闭 区 间 给 出 区 间 居 计 , 我 们 


在 | 一 各 过 一 一 .s(n 一 1) ,也 就 是 在 


ww 
了 一 i DEmErt+ 和 stn — 1) 
的 时 候 接 受 原 假设 . 从 而 有 
P,, 1X 一 i 一 近世 并 十 Wt s(n 一 D | 


一 1- Pl > -去 iD 二 
元 5 


考虑 到 入 的 性 意 性 , 则 
Xo ， 5 
*- 讽 -D+ 去 
是 & 的 演 信 水 半 为 1…a 的 置信 区 间 . 
如 时 考虑 单 边 假设 检验 问题 ,要 : 7 和 妥 加 对 万 :7 加 或 五 :7 
之 加 对 万 :7 之 加, 则 能 得 到 置信 下 腿 , 或 上 限 . 同 上, 设 样本 基 二 《XX ， 


-~ ， | 


$4,2 构造 置信 区 间 ( 置 信 限 ;的 方法 ,281+ 
-来自 正 态 总 栖 wa 其 中 :一 cp< Aceopo 半 0， 考虑 单 迎 
假设 检验 问题 , 瑟 ,: gy 所 po 对 五 :Am 和: 我 们 知道 水平 为 = 的 
UMP 检验 的 拒 缩 域 为 


We= |r (4. ]7) 
所 以 我 们 在 xz 芝 内 十 一 一. (一 1 也 就 是 在 pr 宇 一 一 一 .a(n 
Vn 元 
一 1) 的 叶 候 接受 原 假 设 . 从 而 有 
P lm 之 及 一 > tn D1—a 
. Ed ， 
考虑 到 局 的 任意 性 ; 则 ZX 一 元- 六 -sa 一 1) 是 产 的 置信 水 平 为 1 一 “ 
更 


的 置信 下 限 . 同 理 , 如 果 考 虑 单 边 假设 检验 问题 ,五 。: ?六 加 对 五: 第 
< 加 , 则 能 得 到 置信 上 上限. 

由 (4.16} 和 C4. 17? 两 式 可 以 看 到 ,检验 的 拒绝 域 三 不仅 与 样本 观 
察 值 + 有 关 , 还 与 mm 有 关 . 故 可 把 磷 记 为 全 一 下 (zypo) .我们 在 工 各 
Wz ,po) 的 时 候 接 受 原 仿 设 ,的 昨 信 和 区间, 或 置信 下 (上 ) 限 是 在 把 “4 
车 WLc,po) ”等 价 地 变换 成 "pC po 之 PC2” 或 < 人 > 应 (本 JP“ 
过 plz) 后 得 到 的 .反之 ,车 能 获得 某 参 数 的 置信 和 限 , 或 置信 区 间 , 就 
可 获得 该 参数 的 单 边 ,或 双边 检验 问题 的 拒绝 域 , 关于 区 闻 司 计 和 假设 
检验 的 关系 的 进步 的 讨论 见 下 一 节 . 


$4.2.5 但 然 置 信 域 


设 样本 及 一 (XL,-…,X,) 来 自 密度 函数 族 ip (x;8) : 98E 8) ,其 中 未 
知 参 数 9 二 站,… ,2 ,参数 空间 日 是 主 维 欧 氏 空间 了 中 的 一 个 含有 
内 点 的 集合 . 考虑 简单 原 假设 态 , : 8 一 6 对 备 择 根 设 五 , : 9 天 的 检 
验 问题 . 定理 3. 18 告诉 我 们 ,在 - - 定 的 条 件 下 ,该 检验 问题 似 然 出 检验 
的 拓 绝 域 为 镀 二 {zx :21nA(z) 计 兴 (8)) ,其 中 


n 


1| six; 
A(KE) 一 一 一 一 


上 日 5 
i=1 
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为 拟 然 比 统计 量 , 而 了 8 是 8 的 MLE. 显 热 A(XY 和 有 有 关 . 故 不 妨 记 
(下 ) 汶 AC(X; 高 ). 那么 集合 


(I ex:0): 
{8: 2lnaACrst) SL RR = 48 1 Hn4 SH lk) 
Tacs0)) 
就 是 8 二 1.6,,…' 如) 的 置信 水 平 为 1 一 a 的 置信 域 ,通常 称 为 似 然 置信 
域 . 
看 习题 3. 20 将 大 按 性 别 与 色 育 分 类 , 则 按 遗 传 学 模型 ,有 下 列 概 
率 模型 


正常 


2 


pp: 


Tp" (i—p) 


试 求 p 的 置信 水 平 为 95% 的 区 间 估 计 . 
在 该 概率 模型 下 , 似 然 函数 
Lp |E) EF) [13 2 
一 pe -2 四 3514 = | 加 pI 
且 户 的 MLE 为 8 二 0.913. 故 下 列 和 集合 为 p 的 置信 水 平 为 95% 的 似 
然 置 信 区 间 


§ 4.3 一 致 最 精确 的 置信 区 间 ( 置 信 限 ) * 283 + 


; oln LF) 2 一 
(2 : 2ln F063 < Hl) = 3.841 


从 而 有 不 等 式 
356lnz 二 51dln(t2 — £) 二 S50lIn(tl — p) 守 -168.1487 
令 
Lp) = 956np 十 514lng2 — p) + 50In(1 — p) 
由 于 


Li(p) = 956 514 50 _ 1520 + p’: — 3482 * 力 十 1912 


pp 2—p 工 一 下 pC2—p*Ol—p) 
所 以 在 PE [L0,1] 时 , 工 ( 产 ) 是 下 凸 画 数 . 因为 
了 (0,.889 9) 一 一 168. 1447 LL(0.933 1)=-- 168.138 8 
(0.889 8) 一 一 168. 160 5 L(0, 933 2) 一 -一 168.159 3 
所 以 不 等 式 的 解 为 0.890 扎 p 志 0.933, 故 所 的 置信 水 平 为 85 上 的 似 然 
置信 区 间 为 [0. 890,0. 933]. 
似 然 置信 区 闻 方 法 的 应 用 范围 很 广 , 它 可 用 十 很 一 般 的 场合 ， 


3 4.3 一致 最 精确 的 置信 区 间 ( 置 信 限 ) 


$ 4.3.1 一 致 最 精确 的 年 售 限 


在 $4.1 我们 知道 ;着 参数 真 值 为 8, 则 对 置信 下 限 六 (X) 来 说 ,在 
站 <8 时 ,9 大 于 或 等 于 页 ( 芝 ) 的 概率 Pof8 尘 W(X)} 傅 小 ,电信 下 限 的 
精度 愈 高 . 同样 地 ,对 置信 上 轨 名 (71 来 说 ,在 如 > 时 ,8 小 于 或 等 于 
名 (下 } 的 概率 Pel9 所 Bu(X)} 鳃 小 , 属 信 上 限 的 精度 分 高 . 据 此 有 如 下 
的 定义 . 

定义 4.6 设 疡 ( 环 ) 是 8 的 置信 水 平 为 1 一 a 的 置信 下 限 . 如 果 对 
任意 … 个 8 的 置信 水 平 为 1 一 a 的 置信 下 限 帝 (XY) ,在 <8 时 ;都 有 

Ped XY) PelB Dd (XY) 

则 称 训 (ZE) 是 8 的 置信 水 平 为 1 一 a 的 一 臻 最 精确 (Unitormly Most 
Accurate, 简 称 LUMA ) 置 售 下 限 ， 
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定义 4.7 设 妨 (ZE) 是 昌 的 置信 水 平 为 1 一 上 的 党 信 上 限 . 如果 对 

任意 一 个 疙 的 置信 水 平 为 1 一 a 的 置信 上 限 剖 (K}), 在 >8 时 ,都 有 
Pry RN) Pde 二 闫 5) 

则 称 讽 5X) 是 日 的 置信 水 平 为 1 一 xz 的 UMA 置信 上 上限 . 

在 $4.2.4 我 们 知道 ,由 单 边 假设 检验 问题 可 以 得 到 置信 限 . 不仅 
如 此 ,由 单 边 假设 检验 问题 的 UMP 检验 可 以 得 到 UMA 置 依 蛛 ， 

定理 4.7 设 单 边 假设 检验 问题 ,再 : 8 所 6 对 妃 :8 放 所 的 水 平 
为 a 的 UMP 检验 的 拒 第 域 为 玉 二 Wtzr; 疝 》. 出 检验 的 接受 域 为 邦 一 
好 (zs90). 如 果 * 和 万 开 Cz;G)* 可 以 等 价 地 变换 为 “名 汪 B (下)”, 那 妇 
.LK) 是 6 的 恒信 水 平 为 1 一 a 的 UMA 虱 信 下 限 . 

证 阴 , 由 于 你 一 多 (zs 是 所 考虑 的 单 边 假设 检验 问题 的 水 旦 为 
.a 的 检验 的 拒绝 域 ,所 以 

Palit ON} Pe{X EE WXIO)) 
=1— PolXEWXION) 1 a 

考 上 起 到 吕 的 任意 性 , 故 记 (X) 是 8 的 置信 水 平 为 1- a 的 置信 下 限 . 

对 任意 一 个 8 的 置信 水 平 为 1 一 a 的 置信 下 限 这 (XX), 构 造 检验 ， 
令 其 措 绝 域 为 


W" =W'Cr) = {fr 
则 在 8 时， 
PX EW'}= Pe RE PAG < O(N) 
=]1— Pod =a 
所 以 拒绝 域 为 WW' 王 太 ”Crzi 页 ?的 检验 是 所 考虑 的 单 边 假 设 检验 问题 
的 水 平 为 «的 一 个 检验 . 由 于 拒 笔 域 为 琵 一 trib) 的 检验 是 所 考虑 
的 单 边 假设 检验 问题 的 水 平 为 a 的 UMP 检验 . 所 以 在 人 > 名 时 ， 
PX E WIXIO)) PAX EE W' (UX;0)} 
=>Pe ODN} Pod, < ti (RX)) 
>Pof 守 抽 (X)} Pel, 人 (X)) 
这 说 明 二 CX) 是 8 的 置信 水 平 为 1 一 a 的 UMA 置信 下 限 . 证 毕 . 
关于 UMA 置信 上 限 有 类 似 的 结果 ， 


4 4.3 一 至 最 精确 的 置 售 区 间 ( 罩 信 诬 ) » 285* 


定理 4.8 设 单 边 假 设 检 验 问题 , 瑟 ; : 8 污 扣 对 ;之 刀 的 水 平 
为 a 的 UMP 检验 的 拒绝 城 为 要 = 三 (zi 护 ) ,接受 域 为 邢 = 斌 (x;%). 
如 果 "ztEWCr;0.)” 可 以 等 价 地 变换 为 "名 所 六 《X)"”, 那 么 太 {(K) 是 8 
的 置信 和 水平 为 1 一 a 的 UMA 置信 上 限 . 


$4.3.2 一 致 最 精 稀 的 无 候 电 全 限 各 无 偏 置信 区 间 


定理 4.7 和 4.8 和 上告 诉 我 们 ,UMA 属 信 限 吕 由 单 参 数 假 设 检验 河 
题 的 LUIMP 检验 导出 .一 般 染 说 ;在 多 参数 分 布 族 的 场合 下 , 单 参 数 很 
设 检验 问题 的 WUMP 检验 不 存在 ,因而 UMA 置信 巾 也 不 存在 . 窗 参 数 
分 布 族 场 从 , 单 参 数 假 设 检 验 问 题 的 UMPU 检验 常 是 存在 的 ,由 它 可 
导出 一 臻 最 精确 无 怕人 Uniformly Most Accurate Unbiased , 简称 
UMAU) 壮 信 报 .无 偏 置信 限 和 UMATU 置信 和 限 的 定义 如 下 ， 

定 久 4.8 设 丰 (XX) 是 8 的 置信 水 平 为 1 a 的 置信 下 限 , 若 在 台 
< 时 ,都 有 


Pel BR) < 一 
则 称 5tX) 是 的 置 靖 水 平 为 1 一 a 的 元 篇 置信 下 限 . 车 对 任意 一 个 8 
的 置信 水 平 为 1 一 a 的 无 偏 置 信 下 上限 充 (和 ) :在 ?一 9 时 ,都 有 
PA SOX) SE Pb OX)) 
则 称 8.CX) 是 8 的 上 信 水 平 为 1 一 a 的 UMAU 置信 下 限 . 
定义 4.9 设 秽 (X) 是 8 的 置信 水 平 为 1 一 = 的 置信 上 限 . 如 果 在 
8 时 ,都 有 
Po SN) El a 
则 称 站 :CX) 是 5 的 置信 水 平 为 1 一 a 的 无 偏 置 信 上 限 .如 果 对 任意 一 个 
8 的 置信 水 平 为 1 一 a 的 无 优 置 信 上 限 名 (和 ,在 中 时 ,都 有 
Pe BAX EE Pol ECX)) 
则 称 CX) 是 8 的 置信 水 平 为 1 一 的 UMAU 惟信 上 限 . 
在 $44.2 我们 知道 ,由 双边 假设 检验 问题 H,: 7= 和 加 对 Hl: ?加 
的 水 平 为 上 的 检验 可 以 得 到 ?的 置信 水 平 为 1 一 a 的 置信 和 区间. 一 般 来 
说 ,在 单 参数 分 布 族 或 多 参数 分 布 族 的 情况 ,这 类 双边 假设 检验 问题 不 
存在 UMP 检验 ,而 仅 存 在 UMPU 检验 .由 UMPU 检验 可 导出 
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UMAU 党 信和 区 间 . 无 偏 置 信 区 间 和 UMAU 置信 区 间 的 定义 如 下 . 
定义 4.10 设 [ 抽 CX), 抽 (XK)] 是 8 的 置信 水 平 为 1 一 a 的 置信 区 
间 . 如 果 在 站 关 8 时 ,都 有 
Pa NY RR El a 
则 称 [5( 玉 } , 纪 (XH) 是 如 的 置信 水 平 为 1 一 a 的 无 仿 置 信和 区 间 . 如 果 对 
任意 一 个 8 的 置信 水 平 为 1 一 " 的 无 偏 置 信 区 间 [ 人 (CX), 扣 CX)], 在 娘 
关 8 时 ,都 有 
PAB NX) EP AN) )) 
则 称 [ 名 (XD ,名 ( 玉 )] 是 8 的 置信 水 平 为 1 一 2 的 UMAU 置信 区 间 . 
定理 4.9 设 双 边 假 设 检验 问题 再 , : 8 二 对 万 ，: 8 沽 呈 的 水 平 
为 a 的 UMPU 检验 的 拒 鹅 域 为 下 一 全 (zxz38) 接受 万 为 全 一 仇人 zi 
页). 如 果 "z 红 页 (z5)? 可 以 等 价 地 变换 为 * 久 (和 ) 雪 二 让 (X)” ,那么 
[CX) ,BO.(X)1 是 8 的 置信 水 平 为 1 一 x 的 UMAU 置信 区 间 . 
证 明 : 由 于 琴 三 全 (ri@) 是 所 考虑 的 双边 假设 检 驼 问题 的 水 平 为 
a 的 无 偷 检验 的 拒绝 域 ,所 以 
Pa {BXI EEDA)= Po {XE WE)) 
=1— Pa{X EW(XIN)} 21a 
并 且 在 8 产房 时 ， 
Pi {OX) SIEBXY}= Pa {XE PKIOD! 
=—1— PaiXEWXID)}El—a 
故 [ 各 (2X) ,BXYj 蚌 8 的 置信 水 平 为 1 一 a 的 无 偏 置信 区 间 . 
对 任意 一 个 8 的 置信 水 平 为 1 一 a 的 无 偏 置信 区 和 疗 [ 匀 (X)， 
名 ()] ,构造 检 验 , 使 其 拒绝 域 为 
W ”二 WX 二 {xX 机 之 所 (I) 或 扩 半 剖 (4x)} 
则 
PX EW}=1i— PlX EW'}=1- Pi{0(X) 
不 O10) 一“ 
并 且 在 95 久 时 ， 
PAXEW'}=1— PAXEW’)S1— Pt (x) 
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入 人 X11 一 (1 一 4) 一 a 

所 以 拒绝 域 为 W"* 二 W* (tr; 好) 的 检验 是 所 考虑 的 双边 报 设 粒 验 问题 
的 水 平 为 & 的 一 个 无 偏 检验 . 由 于 拒绝 域 为 W 二 W(tz; 轴 ) 的 检验 是 所 
考 虚 的 双边 假设 检验 问题 的 水 平 汐 a 的 UMPDU 检验 .所 以 在 8 后 
时 ， 

PeaX E WIXIOD)} Pe EE W' (NX;0)) 

PAX EWHIN} EC PAXE W' (XNX;O,)} 

地 Pot 和 (XA) 和 于 和 (和 Pef 训 (XX) 过 页 近郊 ())} 
这 说 明 [ 训 CR}, 扣 ( 玉 )] 是 8 的 置信 水 平 为 1 一 < 的 UMAU 置信 和 区间. 证 
毕 . 

关于 UMAU 置信 限 有 类 似 的 结果 . 

定理 4. 10 设 单 边 息 设 检验 问题 ,五 。: 8 所 8 对 五, : 9 外 的 水 
平 为 < 的 UMPU 检验 的 拒绝 域 为 厂 一 全 (zi 名》 ,接受 域 为 多 一 全 (zs 
8 ). 如果 “xzE 殉 (zi 可 以 等 价 地 变换 为 “8. 关 广 (X)9” ,那么 页 ( 必 ) 是 
# 的 置信 水 平 为 1 一 a 的 UMAU 置信 下 限 . 

定理 4.11 设 章 边 假设 检验 问题 ; 右 。: ?>% 对 五 | 1 8 之 的 水 
平 为 x 的 UMPU 检验 的 拒 系 域 为 促 一 研 (zib) ,接受 域 为 酌 一 要 (zs 
如. 如果 “xzE 到 (zz 页 )? 可 以 等 价 地 变换 为 “8 去 抽 (zy” 那么 讽 () 是 
8 的 置信 水 平 为 1 一 a 的 UMAU 置信 上 上 腿 . 

例 4.9 设 总 体 为 {NCp,6) :一 0 之 过 00,0 >0), 内 设 下 = 
(下, 区.) 是 来 自 该 总 体 的 样本 . 由 例 3. 11 知 ,检验 问题 Hs: oe? 一 3 
对 理 1 :om 关 di 的 水 平 为 wa(0<a< 1 的 UMPU 检验 成 D) 的 拒绝 城 为 
W={x: T(r) 或 Treo 其 中 C1 和 Ca 由 下 式 确定 ， 


-x a 一 直 一 = zx 全 


oz 


"1j=0 


其 中 了 (Cr 一 >)” 《zi 一 到 PCzla 一 1) 表 示 自 由 度 为 一 1 的 妃 分 


布 的 密度 函数 . 令 c 一 名 二 六 加 ,< 一 名 一] 全 则 拒绝 域 可 等 价 地 


SCz 
改写 为 卫 一 民 5 S 二 用 或 6 .57> 和 .其 中 8: 一 全 一 一 一 
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2 2 和 6 满足 下 列 条 件 


二 1 (4.18) 


nl 
a 


我 们 不 妨 把 拒绝 域 写 为 下 一 (人 r :5b* Sal 或 a* Si>>ai}, 则 由 
定理 4.9 知 ,[a*S ,56* SS 为 o? 的 置信 水 平 为 1 一 4 的 UMAU 置信 
区 间 . 

由 例 4.2 知 ,在 形 如 La，Sz 5。S3] 的 区 间 估 计 中 , 当 a 和 上 5 满足 
‘4. 47 式 ， 即 


和 下 -二 
的 时 候 ,[Le S',5*S 是 风 的 置信 水 平 为 1 一 a 的 区 间 平 均 长 度 最 短 


的 置信 和 区间. 显然 ,(4. 18) 式 和 (4.47? 式 不 等 价 . 所 以 的 掉 信 水 平 为 
1 一 a 的 UMAU 置信 区 向 的 平均 长 度 并 不 是 最 短 的 . 


$4.3.3 置信 区 间 的 平均 长 度 


在 8$4.1 我 们 知道 ,区 间 和 估计 前 精确 度 的 标准 有 两 个 . 一 个 标准 
是 ,区 间 包 含 非 颠 值 的 概率 人 铺 小 意 好 . UMA 和 UMAU 就 是 根据 这 个 
标准 而 提出 的 . 另 一 个 标准 是 ,区 间 的 平均 长 诬 傅 短 傅 好 .下 面 的 定理 
告诉 我 们 ,这 两 个 标准 之 间 有 着 某 种 联系 . 

定理 4. 12 设 参 数 空间 如 一 19} , 印 是 直线 上 的 售 有 内 点 的 一 个 区 
间 . 如 果 [ CX) ,页 '(X)] 是 参数 8 的 置信 水 平 为 1 一 zx 的 UMAU 置信 
区 间 . 则 对 6 的 任意 一 个 置信 水 平 为 1 一 a 的 无 信 置 信 区 则 [ 充 (zy， 
万 (zx)], 都 有 

Es 一 和 丰 (R)] 所 Ef 并 (KX) 一 站 (XxX)] 

对 一 切 的 8 都 成 立 ， 

证 月 : 下 定理 的 条 件 舌 


i 
EB CX — 于 (让 一 i ddPs(z) 


“一 十 = 


一 dD,tryde 


这 
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一 [PetBX) 0 


= | PB KY EP CORY 


六 基 昌 


< | PAX) S09 EHX dO 
起 局- 
一 Es[ 名 (XX) 一 新 (XX)] 
定理 证 毕 . 
在 例 4. 10 中 ,车 仅 考 虑 吓 的 置信 水 平 为 1.-* 的 无 偏 置信 区 间 ， 
财 由 定理 4.12 知 ,oi 的 置信 水 平 为 1 一 a 的 UMAU 置 傍 区 间 的 平均 
长 度 最 短 . 但 正如 前 面 所 说 的 ,在 置信 水 平 为 1 一 «的 置信 区 间 中 , 它 并 
不 是 区 间 平 均 长 庭 最 短 的 . 
甘于 置信 四 ,类 伏 于 定理 4. 12 的 结论 不 一 定 成 立 , 看 下 面 的 倒 子 . 
例 4,10 设 总 体 服 从 指数 分 布 ,其 密度 函数 为 


1 
(zj9) = | FF exPp 
0， 六 < 
到。 为 来 自 该 总 体 的 样本 .由 定理 4.8 知 ,8 的 置信 水 平 为 1 一 e 
的 UMA 置信 上 轩 为 名 =2 > XXE(C2n). 显然 ,后 是 9 的 置信 水 平 
为 1l—a 的 UMAU 置信 上 限 . 不 难 算得 ,了 以 页) =2ond /YZn), 
令 Xi 为 最 小 次 序 统 计量 由 于 居心 的 密度 函数 为 
于 。 1 ~ 
plyi0) -1 ep| 0 | ?之 
0, 了 了 到 站 
所 以 太一 2mXop2t2) 为 加 的 置信 水 平 为 1 一 “的 置信 上 上限 . 可 以 证 
上 明 , 上 如 为 8 的 置信 水 平 为 1 一 2 的 雹 偏 置信 上 限 ( 习 题 4 11), 不 难 算 
aA、 20 
得 ,Erte ?一 未 (2 
取 a 二 0.7,n 二 6. 由 于 


一 号 上 0 


2 8 
X20) 2.408 


Eto ) = 0.8318 
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129 128 
X312)Y 14.011 


所 以 Be( 全 ) 一 Fo 人: 这样 ,在 平均 的 意义 下 一 个 不 是 UMAU 的 无 偏 
置信 上 契 小 于 具有 相同 置信 系数 的 UMAU 置信 上 限 ， 


3 4.4 情 仰 推断 方法 


Ey(@) = 


= 0.8579 


$4. 4.1 恼 仰 分 布 


参数 信 计 中 的 极 大 似 然 方法 最 旱 是 由 C.F. Gauss 在 1821 年 握 出 
的 . 然而 这 个 方法 应 主要 归功 于 RR. A. Fisher. 他 在 1922 年 重新 提出 了 
这 个 方法 ,并 首先 研究 了 这 个 方法 的 统计 性 质 . 设 样本 蕊 一 疡 (了 8) 人 
蕊 如, 在 有 了 样本 观察 值 z 后 ,如 果 对 不 同 的 站 ,8.EN, 有 pp(ri)> 
疡 (z32) ,那么 观察 值 + 来 自 总 体 pCz; 如 ) 比 来 自 总 体 p(x;: 反 } 的 可 能 
性 大 ,也 就 是 说 8 一 六 比 9 一 网 的 可 能 性 大 . 据 此 有 的 MLE5 一 Arz)， 
它 满足 条 件 PlriD =supp (zr30). 所 以 Fisher 的 极 大 似 然 估计 的 基本 
想法 是 ,在 有 了 样本 观察 值 z+ 后 ,用 “最 有 可 能 出 现 " 的 8 去 估计 冯 . 
Fisher 在 本 世纪 三 十 年 代 进 一 步 推广 了 极 大 似 然 的 要 法 ,提出 了 入 仲 
推断 方法 . 他 认为 在 有 了 样本 观察 值 工 后 ,就 有 了 参数 0 的 一 个 分 布 . 
这 个 分 布 表 示 了 ,由 于 所 得 样本 观察 值 的 信息 ,8 落 在 各 个 范围 内 的 
“可 入 程度 ?Fisher 称 这 个 分 布 为 信 促 分 布 {FEiducial Distribution). 看 
于 面 的 例子 . 

例 4.1 设 样本 X= 二 (六 i 来自 正 态 总 栖 NGCuns1) ,其 中 一 
co 之 poo. 由 于 及 是 py 的 充分 统计 量 , 所 以 我 们 基于 及 来 考虑 该 问 


题 . 因为 信 ~NCps 志 ), 故 车 记 c~ 和 NC0,1), 则 有 


1 
Vn 


婉 一 天 十 “ee (4. 19) 


移 项 可 得 


9， 也 {a. 20) 
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(4. 20) 式 由 04. 19) 式 等 价 变换 而 来 ,但 Fisher 给 予 (4. 20) 式 以 完全 新 
的 解释 . 他 认为 在 有 了 样本 观察 值 六 ,并 继而 得 到 六 后, (4. 20? 式 给 出 
Ta 的 分 布 ,~ 和 N(R, 二 ), Fisher 称 这 个 分 布 为 上 的 信仰 分 布 .由 
的 这 个 信仰 分 布 可 以 得 到 


pl U0 sl 1 
4 | vn “1! 
“= 1 1 
一 Ea ,一 = “Us| 
这 里 的 1 a 称 为 信仰 系数 i Vn 1 A [一 可 称 为 


产 的 信仰 水 平 为 1--a 的 区 加 估计 . 这 个 区 辐 也 是 gy 的 置信 水 平 为 1 一 2 
的 置信 区 间 . 有 的 时 候 信 仲 水 平 为 1 一 & 的 区 问 估 计 是 置信 水 平 为 1 一 
a 的 区 问 御 计 ,如 本 例 所 示 . 但 有 的 时 收 闹 仲 水 平 为 1 一 x 的 区 间 属 计 
并 不 是 置 养 水平 为 IT 一 a 的 区 则 个 计 , 如 人 4.43 的 Behrens-Fishet 问 
题 所 示 . 


$4.4.2 本 数 楼 型 


关于 信仰 分 布 的 诱导 ,有 好 几 种 方法 . 建立 明 数 模型 诱导 信和 恤 分 布 
是 较为 简单 的 一 种 方法 - 

定 4.11 函数 模型 有 三 个 要 素 ,观察 值 X, 取 值 于 (县 ,地 
参数 88, 取 值 于 (8, Weg); 误差 变量 2, 取 秆 于 ( 必 , 芳 wc),e 的 分 布 P 与 8 
无 关 . 在 这 三 个 其 之 间 存 在 一 个 画 数 关系 :(g,e) 一 瑟 , 记 为 让 一 用。e ,其 
中 ”“。 ”表示 某 种 运算 . 楼 求 对 每 一 个 开光 ,存在 98 和 ,使 得 和 =。 
2. 称 * 及 一 8。e ye~P* 为 函数 模型 . 酒 数 模型 常 简 记 为 “到 = 二 8 。e”. 

例 4.11 中 的 (4.19) 式 就 是 一 个 函数 模型 . 

在 痪 数 模 型 中 ,当日 给 定时 ,天 是 e 的 画 数 . 则 由 “并 一 中 。 eye 一 疡 ” 
可 以 推 得 文 的 分 布 :~Potzx). 所 以 在 8 给 定时 由 函数 模型 *XX 一 。 
ere~ 了 ”活性 出 -一 个 统计 缚 构 : 久 ~Pp(xr) ,98€ 四， 

此 奸 , 如 果 对 所 有 的 芝 和 ,存在 唯一 的 8 使 得 区 =8。e, 则 在 有 
了 样本 观察 值 基 后 ,2 是 e 的 函数 .从 面 由 晤 数 借 型“ 匡 一 中。，ese 一 已 
诱导 出 8 的 分 布 . 这 就 是 #8 的 信和 可 分 布 . 

例 4.12 设 样本 腕 二 ( 叉 |，…', 匡 .) 来 自 均 名 分 布 总 搜 尺 (0,8) ,其 
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中 gs>0. 由 于 最 大 次 序 统计 量 Xw 是 8 的 充分 统计 量 . 折 以 我 们 基于 
Xow 来 考虑 该 同 题 , 因为 Xw 的 密度 丽 数 为 pCy50) -2 ,0<y<g， 


令 e= 人 六. 则 e 的 密度 隐 数 为 20D 二 nt!,0<e<1. 履 < 分 布 与 9 无 
美 .从 而 有 时 数 模 盟 

六 一 用 .ee 《4. 21) 
黎 项 可 得 8 一 Xo , 则 在 有 了 样本 观察 值 生 ,从 而 有 了 ,后 ,由 此 函数 


模型 诱导 出 9 的 信仰 分 布 .9 的 信介 分 布 的 密度 对 数 为 “人 各 ,6 之 


六 iw. 下 向 我 们 各 描 台 的 这 个 信和 体 分 布 构造 台 的 区 间 估 计 .由 于 该 信 仲 
分 布 的 密度 旺 数 关于 8 严格 单调 下 降 , 所 以 从 区 间 长 度 尽 可 能 短 的 精 
度 要 求 出 发 ,我 们 取 形 如 [Xs ;成 ] 的 区 间 为 如 的 区 间 人 以 计 , 从 而 由 


PIXw 宝 <g< = dl 
推 得 出 一 名: 所 以 0 的 信仰 水 平 为 1~a 的 区 间 售 计 为 [ Xe ve 
六 


它 与 例 4. 3 全 出 的 吕 的 置信 永 平 为 1 一 a 的 置 此 区 间 是 - 致 的 . 

例 4.13 设 样本 XX 二 (XX,*…,X,) 来 自 正 态 分 布 总 位 Cunyso2)， 其 
中 一 过 00 ,0 >0. 由 于 (下 ,QQ 一 了 之， (Xi 一 六 ) 疏 是 Cp 可) 的 充 
分 统计 量 , 所 以 我 们 基于 《XX,Q) 来 考 虚 该 问题 . 因为 及 ~ 和 N 
| 人 2 _ 
[生生 -一 D, 并 且 各 和 人 相互 独立 , 故 若 记 ei~NN(0， 


1 ,eX tn 1) :日 €1 和 Er 相互 独立 ; 则 有 有功 数 模型 


评 二 十 0 。 ] 
| Va 《4. 22) 
Q: = ge 
此 范 数 模型 中 的 观察 值 , 参 数 和 误 盖 变量 分 别 为 ( 马 , 名 1, (ro:) 和 (el， 

ea 
由 此 阔 数 模型 可 得 
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[, 一 区 1 .。 马 。 
IF 一 1 
* ‘4. 23) 
A 
Es 


则 在 有 了 样本 观察 值 式 ,从 而 有 了 志和 全 :后 ,中 诱 时 出 Ca) 的 联合 
信和 仲 分 布 .由 于 ee 一 NI0, ez 一 庆 Cn 一 1) ,月 ce 和 es 相互 独立 , 则 (wx， 
下 ) 的 联合 信仰 密度 函数 为 


ptlr,s rT) CS exp1 


$ 


n* (KR 叶 2 
2 

somor>0 (4.24) 
其 中 z 一 于 由 此 联合 信和 仲 分 布 可 分 别 推导 出 上 和 对 的 边际 售 刷 分 布 . 
此 外 ,我 们 也 可 直接 由 (4.23) 式 分 别 推导 出 x 和 wo 的 边际 信介 分 布 . 
让 (4. 23) 式 可 得 

= “ng = _ 万 一 了 ， sn 
Wy 
所 以 点 的 边际 信仰 分 布 为 1 分布. 由 此 信和 仲 分 布 所 构造 的 的 信和 机 水 
平 为 1 -a 的 区 间 千 计 与 俩 4.1 弹出 的 的 置信 和 水平 为 1 一 & 的 区 和 间 售 
计 相 一 致 (习题 4 15)., 由 (4.23) 式 可 得 
永 一 二 一 YCn — 112 

所 以 至 的 边际 信仰 分 布 为 倒 岂 分 布 , 其 密度 函数 为 


2 而 
ccexp| 一 2 i 


设 由 此 信仰 分 布 所 构造 的 of 的 信 仙 水 平 为 1 一 a 的 区 间 佑 计 鸭 [有 ， 
硝 ]. 根据 区 间 长 度 尽 可 能 短 的 精度 复 求 ,区 和 间 的 左 、 有 端点 绽 和 强人 须 
满足 条 件 ( 习 题 4. 15) 


2 nt 2 和 十 1 3 
[ee exp| 一 2 |= (08) 于 。 exp| 一 六 | 


只 一 二 
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2 
一. 那么 4 天台 就 满足 条 件 


0 -23 | 1) i_ 2 
Ca) -exp 一 一 (bp) 3 exp| | 


所 以 下 的 信 仙 水 平 为 1 一 a 的 区 间 信 计 与 例 4.2 给 出 的 的 省 信和 水 平 
为 1 一 a 的 区 间 估 计 植 -至 


$4.4.3 Behrens-Fisher 问题 


1929 年 Behrens 所 出 了 一 个 非常 实用 的 问题 . 设 样本 总 一 (Xi， 
和 样本 了 一 6 了 互相 独立 .它们 分 别 来 自 正 态 总 恒 
Na 和 (ye 其 中 一 扣 所 让 所 co 一 ce 二 的 二 ci 人 0 
0. 要 构造 名 一 pez 的 区 间 悄 计 . Fisher 曾 研 究 过 这 个 问题 ,并 用 他 提出 
的 信和 侧 推 断 方 法 给 出 了 一 个 解法 .所 以 人 人们 习 慌 称 这 个 问题 为 
Behrens-Fisher 问题 ， 

在 =o 二 0 但 未 知 时 ,问题 已 得 到 解决 ( 见 例 4.4),. 在 中 和 
吗 完 全 末 知 的 时 候 , 要 想得到 -- 个 满意 的 解答 是 很 困难 的 . 下 面 介绍 
一 些 较为 重 葛 的 解法 .1944 年 Scheffe 给 出 了 服从 :分 布 且 含 有 参数 
咎 一 下 的 一 个 枢 町 量 ,从 而 得 到 了 同一 A 的 置信 水 平 为 1 一 a 的 区 间 
估计 :给 出 了 Behrens-Fisher 问题 的 一 个 解法 01 若 考虑 以 区 间 的 平均 
长 度 为 标准 ,这 个 解法 有 是 够 高 的 精确 性 . 但 美 中 不 是 的 是 ,所 构造 的 
枢 轴 量 并 不 是 样本 互 :有 和 了 的 对 称 蚂 数 .这样 一 来 , 疏 
变样 本 芝 |,… ,区 5 或 六 7 的 前 后 次 序 , 就 得 到 了 不 同 的 区 间 舍 
计 , 而 由 样本 的 独立 间 分 布 性, 人们 很 自然 地 希望 ,样本 的 次 序 应 与 问 
题 的 解 无 关 . 除 了 scheffe 的 精确 解法 , Welch 在 1938 年 给 出 了 
Behrens-Fisher 问题 的 一 个 近似 解法 口 . Welch 的 近似 解法 较 Scheffe 
的 精确 解法 简单 ,并 且 他 位 给 当 揭 区 间 司 计 相 差 也 不 大 ,所 以 在 实际 局 
题 中 ,通常 使 用 Welch 的 近似 解法 . 下 面 对 Welch 的 近似 解法 作 一 个 
简单 的 介绍 . 显然 ， 


A ~ NCD) (4. 25) 
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SRT) Dy Fy 
若 将 oj 积 咯 分 别 用 其 无 偏 估计 S51 二 拉 一 一 和 59 一 全 一 一 
代替 , 则 得 统计 量 
K 一 六 一 《Pa 一 1) 
| 


让 


其 中 S = 法 十 尝 . 很 明显 汪 并 不 服从 + 分布. Welch 通过 研究 认为 性 的 
分 布 近 似 地 与 犁 由 度 为 + 的 :分布 相 同 . 关于 自由 度 > 的 值 有 下 面 的 加 
为 粗糙 的 解法 . 由 于 ?是 服从 标准 正 态 分 布 N(0,1) 的 随机 变量 ( 兄 
(4. 25) 式 ) 和 随机 变量 WZ 的 商 , 其 中 


Sz: 
了 一 一 号 
可 -到 
nmi n 
所 以 认为 的 分 布 近似 地 与 自由 度 为 + 的 + 分 布 相同 ,相当 于 认为 Z 的 
分 布 近似 地 与 业 的 分 布 相 同 ,其 中 随机 变量 人 一 兴 (7). 显然 ,EE(Z) 一 
E| 二 | 一 1. 由 于 
2a4 2 
Va Zp Wm DD) | nen 1) 
(2 十 至 | 
m nl} 
War 7)= 之 
r r 
所 以 
12 
a 
rT 六 可 责 一 《+4. 26) 


在 实用 时 , (4.26) 式 中 的 of 和 中 分 别 用 其 无 筷 估计 3 和 3 代 着 , 即 
取 
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r Ss 
和 S51 村 
mm ly ncn 1) 
从 而 和 后 一 2 的 置信 水 平 近似 为 1 一 a 的 区 间 估 计 为 
[XY— ?了 -St-s(), 一 了 Si :47) |] 
土 述 方法 徐 出 的 是 轩 售 水 平 近 个 为 1 一 & 的 区 癌 佑 计 , 下面 由 和 售 倘 
推断 法 给 出 信 作 术 平 为 1 一 < 的 区 和 间 舍 计 . 
由 例 4.13 知 , 有 函数 模型 


二 1 1 
所 = 和 -二 -ae 
号 
2 
of 
L es 
Q 
1 2 
pa 一 了 一 ” + 
“yf 
2 
= 
2 


其 中 Qi== > (Xi 一下)2， = DF YY ~ NGO0,1),e~ 
pn), FN COD, fy Cn 一 ])serressy 六 和 ;相互 独立 .由 此 
得 

[i 

w= Stv Rn 


其 中 太一 ee 了 :一 人 st Oo) ,fit 1) 8 各 ta 相互 


wn—1 


独立 .从 而 和 
A -j= 下 一 了 十 4S "tof Vt 一 “i Vn | 
其 中 SAY 一 Sa /为 不 吾 相 独 立 的 :分布 的 线 柱 组 全 
我 们 把 它 写 成 如 下 的 形式 
Sesto VA — St/ Vm = r+ (cosd st, — sing £1) 
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fe v _ dy 
其 中 一 VS Ym Si/n ;Cos 二 Saf YR :和 六 记 WS=cosd 
Vo/mi v3/n 


“站 -Sin 大 时 然 ,W 的 分 布 仅 与 #8 和 5 分布 的 自由 度 吉 一 1 和 nn 一 1 
有 关 . 可 以 证 明 :W 的 分 布 关于 原点 对 称 .在 Fisher 和 Yates 编 的 统计 
表 中 是 以 查 得 ww C09,1m 一 1 ,7 一 1), 使 得 

Pi— wim GO— ln DEWEwom Gin 1)}=1—ea 
那 和 [XP 了 or wd, mln) 了 mn 一 1 ,7 一 1)]1 就 
是 上 一 各 的 信仰 水 六 为 1 一 a 的 区 间 估 计 . 

Neyman 通过 计算 说 明 ,Fisher 给 出 的 信仰 水 平 为 1 一 a 的 区 间 售 
讨 并 不 是 置信 水 平 为 1 一 & 的 区 间 和 估计. 所 以 有 的 时 候 信 伸 水 平 为 1 一 
a 的 区 间 佑 计 并 不 是 置信 水 平 为 1 一 a 的 区 间 估 计 ， 

Fisher 提出 了 信仰 推断 方法 .在 他 将 此 方法 用 于 著名 的 Behrens- 
Fisher 问题 之 后 . 情 仰 推断 方法 受到 人 们 很 天 的 关注 .这 说 明 信 佩 推断 
方法 是 解决 区 间 估 计 间 题 的 一 个 有 效 的 方法 . 另外 ,信仰 推断 方法 直 
观 , 它 容易 被 实际 工作 者 所 接受 . 但 是 ; 随 着 研究 的 深入 ,人 们 发 现 了 信 
仲 推断 方法 的 一 些 内 在 的 问题 . 例如 ,在 寻求 信仰 分 布 的 时 候 , 利 用 不 
同 的 方法 ,推导 出 的 信人 牧 分 布 有 可 能 不 一 样 后 司 . 信仰 分 布 的 这 种 不 
确定 性 是 Fisher 的 信仰 推断 方法 至 今 还 没有 被 人 们 完全 接受 的 原因 
之 --. 
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习 题 四 


4.1 设 样本 站 一 {及 1，…, 芝 ,) 来 自 均 名 分 布 总 体 避 50,0), 其 中 绰 
人 0. 对 给 定 的 a(0<a<<1) ,构造 8 的 置信 水 平 为 1 一 «的 置信 和 区间. 如 
何 选 取 a 和 5, 使 得 在 形 如 LB5* 站 sa * 基 03] 的 8 的 置信 水 平 为 1] 一 a 
的 置信 区 间 中 ,区 间 的 平均 长 魔 达 到 最 短 ? 

4.2 设 下 二 (CX,*… ,XX,) 是 来 自 密度 函数 为 


p(xzi0) = 5， 0 过 98E 二 人 


的 总 体 的 祥 本 . 试 求 8 的 置信 水 平 为 1 一 a 的 置信 区 问 . 采用 形 如 [ec 。 
zy@ "2x0] 的 区 间 佑 计 . 考虑 到 区 间 的 平均 长 度 全 和 揭 意 好 的 精度 要 
求 ,如何 选取 ec 和 2? 

4.3 设 样本 七 一 全 ) 来 站 Possion 分 布 总 体 pcA4) ,其 中 4 
>0. 

(1) 在 样本 容量 充分 大 时 ,试用 渐 近 分 布 构造 4 的 置信 水 平 近 似 等 
于 1 一 a 的 置信 和 限 和 置信 区 间 ， 

2) 信和 例 4.8, 坛 构造 4 的 精 确 的 置信 限 和 置信 过 间 . 

4.4 设 汪 二 (Xi,… ,XX,) 是 来 自 密度 函数 为 

exp{— (zo—}), x0 
pirid) = 0, zg 
的 总 恒 的 样本 . 试 基 于 最 小 次 序 统 计量 站 一 min!X,,… ,下 ,} 构造 #8 
的 置信 和 水平 为 1 一 a 的 置信 和 区间. 

4.5 ” 设 某 电子 元 件 锡 合格 上 晤 率 为 8C0<8<<1). 现 对 该 元 件 进 行 
测试 . 设 直 到 第 关 忆 二 1,2,…) 次 测试 才 测 到 合格 品 . 试 构造 8 的 置信 
水 平 为 1 一 a 的 置信 下 限 . 

4.6 设 总 休克 是 点 集 们 ,2 上 的 均 杀 分 布 , 其 中 六 为 未 知 
参数 . 设 及 一 《XX ，… ,及 ,是 来 自 苹 的 样本 . 令 算 6 一 max {1 在 。}， 
试 基 于 基 , 构 造 N 的 置信 水 平 为 1 一 a 的 置信 上 限 . 

4.7 设 尖 = (Xi,… 1, 及,) 是 来 自 均 名 分 布 UWB 一 0.5,8 十 0. 5) 的 
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样本 . 试 构造 8 的 置信 水 平 为 1 一 a 的 置信 区 间 . 
所 设 半 一 (是 来 自 均 杀 分 布 EC 中 ,多 7) 的 样本 , 
(1) 试 构 造 多 一 各 的 置信 水 平 为 1 一 a 的 置信 区 间 :; 


(2) 试 构造 二 全 的 置信 水 半 为 1 一 x 的 珀 售 区间. 


4.9 设 和 一 (XXX 是 来 自 Pareto 分 布 总 体 的 样本 .Pareto 
分 布 的 密度 阔 数 为 


B+1 


B38 i198 

i 4 人 
六 CiB) 一 | 0 于 寺 它 

D， 


其 中 8 一 2 已 知 . 试 构造 8 的 置信 水 平 为 1-w=0.9 的 UMA 置信 上 
限 ， 

116 令 科 和 了 分 别 表 示人 的 脚印 长 度 和 身高 .假设 了 ~-N(XB， 
中 ). 现 随机 扫 取 w# 个 人 ,它们 的 脚印 长 度 和 身高 分 曾 鸭 {zi yi 和 $n， 
Ya) 

C1) 坛 求 8 的 MLE, 并 构造 8 的 置信 水 平 为 1--a 的 似 然 区 间作 
计 ; 

{2) 假设 n=30, 并 经 计算 得 


Dy = 898 044. 27， Dy = 130 614.6, > = 19 008. 24 


试 据 此 计算 有 的 MLE， 8 的 置信 水 平 为 1 一 a 的 似 然 区 间 信 计 . 

4. 11 接 例 4.11,; 斌 证明, 内 为 8 的 恪 信 水 平 为 1 一 «的 无 偏 置 信 
上 限 . 

4. 12 设 样 本 尖 二 (CX, 芝 ,) 来 自 双 参 数 指数 分 布 总 体 ; 其 窗 度 
畏 数 为 


tr | 
) 本 
XT 


1 
上 户 ( 工 ;AI)》 一 | 四 
0， 
(1) 试 构 造 的 置信 水 平 为 1 一 x 的 UMAU 置信 下 限 ; 
(2) 试 构造 so 的 置信 水 平 为 1 一 a 的 UMAU 置信 区 间 . 
4. 13 《Stein 的 两 阶段 抽样 方案 ) 设 总 体 互 服从 正 态 分 布 (CA 
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os)》. 向 构造 ji 的 兽 信 水 平 为 1 一 x 且 区 间 长 度 不 大 于 给 定 正 数 工 的 置 
信 区 间 . 关于 这 个 问题 ,Stein 的 两 稚 段 抽样 方案 如 下 . 

1) 第 -阶段 册 样 ;从 总 体 关 抽取 样本 去， 其 中 m 是 任意 
预先 指定 的 自然 数 . 令 


成 一 工 Vix,, ?= 1 本 SCxX - AA), 
?0 一 ] 1 i=1 


nn 一 


二 - i: 一 
4 。 [zt:: > Oho 一 DT 
C[aj 表 示 个 人 于 a 的 最 大 整数 ); 
C2) 如 果 二 x6., 则 抽样 结束 . 构造 区 间 
™ 3 和 《me 一 TD NH ie | 


《3)7 如 果 z=>xov* 则 有 第 二 阶 段 抽样 :从 总 性 壮 继 续 抽取 样本 


Ki ,入 令 


n= max{nos[S /ei 二 1}, 


并 构造 区 间 

[x.— 天 + 
试 证 明 所 构造 的 区 间 符 合 要 求 . 

4.14 接 习 题 4.4, 试 以 b 为 观察 值 ,9 为 参数 构造 函数 模型 ,并 
由 此 导出 的 信 眉 分 布 ,然后 纵 出 8 的 信仰 水 平 为 1 一 a 的 区 间 估 计 . 
这 个 信仰 本 平 为 1 一 a 的 区 间 和 合计 是 不 是 8 的 置信 水 二 为 1 一 # 的 区 间 
估计 ? 

4.15 接 例 4.14.(17) 试 求 训 和 天 的 联合 售 促 分 布 的 密度 函 教 ; 
《2) 斌 证明 ;在 oo 给 定 的 条 件 下 ,的 条 件 信 和 仙 分 布 为 正 访 分 布 


NI 式 , 气 |;(3) 坛 从 区 间 长 度 尽 可 能 短 的 精度 要 求 .分 别 构造 和 0 
1 ! ， 


的 信和 伸 系 数 为 1 一 x 的 区 间 佑 计 ;(47? 试 证 明 :w 和 的 信仰 系数 为 1 一 
a 的 区 间 估 计 分 别 是 产 和 上 的 置信 水 平 为 1 一 2 的 区 间 估 让， 


向 
入 
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4.16 接 习 题 4.12,; 试 以 相互 独立 的 充分 统计 量 ( 玉 ,及 一 并 )) 
为 观察 值 , (mn,a) 为 参数 构造 函数 模型 ,并 由 此 导出 4w,a) 的 信仰 分 布 ， 
以 及 分 别 给 出 上 和 e 的 信 伸 水 平 为 1 一 a 的 区 间 佑 计 . 这 个 信 恒 水 平 为 
1 一 a 的 区 间 个 计 蚌 不 是 置信 水 平 为 1 一 x 的 区 问 知 计 ? 


第 五 章 ”统计 决策 理论 与 
Bayes 分 析 


统计 决策 理论 是 著名 统计 学 家 A. Wald (1902- 一 1950) 在 40 年 民 
建立 起 来 的 它 与 经 典 统 计 学 (如 前 四 章 ) 的 差别 在 于 是 否 涉 及 后 果 . 
经 典 统 计 学 着 重 于 在 推断 局 ,而 不 考 虚 用 在 何 姓 和 和 效益 如 何 .而 统计 决 
第 理论 引入 损失 孙 数 ,用 来 度量 效益 大 小 ,评价 统计 推断 结果 的 优 劣 . 

Bayes 分 析 是 英国 学 者 T. Bayes(1702 一 ]761) 首 先 提 出 ,在 本 世 
纪 后 半 叶 发 展 迅 速 -'1. 它 与 经 典 统 计 学 的 差别 在 于 是 否 使 用 先 验 信息 
《经 验 与 历史 资料 ). 经 典 统 计 党 只 用 样本 信息 ,而 Bayes 分 析 把 先 验 信 
息 与 样本 信息 结合 起 来 用 于 推断 之 中 ;形成 非 决 策 的 Bayes 分 析 . 若 再 
使 用 后 果 信 息 , 就 形成 Bayes 决策 分 析 . 本 章 将 对 这 些 内 容 的 基本 部 分 
进行 讨论 . 


$ 5.1 统计 决策 问题 


$35.1.1 决策 问题 


我 们 从 双人 博弈 问题 谈 起 ， 

例 5.1 设 币 乙 两 人 进行 一 种 游戏 , 甲 手中 有 三 张 牌 ,分别 标 以 
24,894,903 乙 于 中 也 有 三 张 牌 分 别 妹 以 aazyas- 游戏 的 规则 是 双方 各 
自 独 立地 出 牌 , 按 下 表 计 算 甲 的 得 分 与 乙 的 失 分 . 


Hh\A . 1 证 2 本 | Le 
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譬如 , 甲 出 和 , 乙 出 ai, 则 甲 得 3 分 而 乙 失 3 分 .区 如 甲 出 外 , 忌 出 
aa, 则 忠 朱 2 分 而 乙 得 2 分 ,如 此 等 等 这 张 表 是 甲 的 得 分 抢 阵 ,其 中 鱼 
的 得 分 就 是 失 分 . 这 张 囊 又 是 乙 的 失 分 矩阵 ,其 中 负 的 失 分 就 是 得 分 . 
显然 ,双方 都 想 得 高 分 ,但 谁 也 不 能 控制 对 方 , 因 此 在 这 种 情况 下 各 人 
该 如 何 “ 理 智 * 地 进行 这 个 游戏 便 不 是 一 件 很 简单 的 事 了 ,假如 甲 和 乙 
手中 的 牌 更 多 一 些 , 那 此 种 游戏 就 更 复 茶 了 . 

这 是 一 个 典型 的 双人 博弈 (赌博 ?问题 . 不 少 实际 问题 可 归结 为 双 
人 博弈 问题 . 它 是 博弈 论 呈 的 研究 对 象 . 如 果 把 上 例 中 的 甲 方 改 为 自然 
界 或 社会 ,这 就 是 人 与 自然 界 ( 或 社会 ?的 博弈 可 题 , 这 类 问题 称 为 决策 
问题 . 

例 $5-2 某 农 作物 有 两 个 品种 :产量 高 但 搞 呈 人 能力 弱 的 品种 a, 和 
抗旱 能力 强 但 产量 低 的 品种 ss. 在 明年 雨量 个 能 准确 预知 的 情况 下 ， 
农民 频 选 播 哪 个 品种 可 使 每 亩 平均 收益 最 大 呢 ? 这 是 人 与 自然 界 的 -一 
局 博弈 . 在 这 里 - 方 是 人 ,大 是 有 理智 的 , 邮 手 中 有 两 张 牌 :al 和 a 人 
手中 的 牌 今后 称 为 行动 . 另 一 方 是 自然 界 , 它 手中 的 牌 是 明年 雨量 ,可 
能 有 很 多 张 牌 ,这 里 为 简单 起 见 , 以 明年 800 mm 南 量 为 办 来 区 分 雨量 
充足 中 和 雨量 不 充足 妈 , 这 样 自然 界 也 有 两 张 牌 :8 和 如 ,由 于 自然 界 
是 无 理智 的 , 它 的 牌 今后 称 为 状态 或 参数 . 在 这 样 的 格局 里 ,能 作 决 策 
的 仅仅 是 人 人. 人 为 作 好 决策 ,可 以 观察 自然 界 的 一 些 现象 ,收集 和 分 析 
自然 异 的 各 种 信息 ,也 可 根据 当年 御 子 .肥料 .农具 等 价格 定 出 各 种 状 
态 下 的 每 商 的 收益 ,然后 写 出 收益 什 阵 (单位 :元 ): 


雨量 “信人 1 az 


A 1900 ! 300 
如 一 200 S00 


自然 界 虽 不 会 有 意 与 人 作对 ,但 也 不 会 任 人 摆 布 .所 以 人 们 按 此 收益 扼 
阵 训 作 决策 (选择 行动 ) 也 并 非 易 事 . 

这 是 -一 个 典 和 型 的 决策 问题 . 很 多 实际 问题 可 以 归结 为 这 类 奖 策 问 
题 . 描述 这 类 决策 问题 有 三 个 要 训 :状态 集 昌 一 16;, 行 动 集 4= {a} 和 
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收益 函数 外 Ga) ,状态 集 表 示 自 然 界 (或 社会 ) 所 有 可 能 状态 的 全 体 ， 
行动 集 表 示 沁 策 者 所 有 可 能 采取 的 行动 的 全 栖 , 收 蕉 了 现 数 忆 (8,a) 表 示 
在 自然 界 ( 或 社会 ;处 于 状态 8 时 ,决策 者 采取 行动 a 所 效 之 收益 ,当日 
与 4 都 是 有 限 集 时 ,名 (ee 就 成 收益 矩阵 ,关于 这 类 问题 的 决策 方法 
可 参见 文献 “1, 但 很 难 找到 一 个 较为 理想 的 决策 方法 . 人 们 为 了 更 好 地 
作出 决策 ,想方设法 从 自然 界 或 社会 中 鞭 去 控 气 各 和 神 右 用 鲍 信 息 . 主要 
有 如 下 上 几 种 信息 可 供 央 策 使 用 . 

1. 先 验 信息 ;大 们 在 过 去 对 自然 界 ( 或 社会 ) 的 各 种 状态 所 获得 的 
信息 .这 种 信息 对 决策 者 很 起 和 作用. 譬如 农民 从 气象 台 发 布 的 和 信息 得 
知 , 明 年 遇 量 仿 多 , 故 认 为 #( 雨 量 超 过 800 mm) 发 生 的 概率 为 0.6, 而 
,发生 的 概 闪 为 0. 4. 这 是 在 妨 上 的 -个 分 布 , 常 称 为 先 监 分 布 , 记 为 

一 有， rnd) =~ 0.4 
在 此 基础 上 ,可 算出 行动 空间 ea: 与 as 的 平均 收益 
Ed)j 一 1000X06--200X0.4 一 520( 元 ) 
Es QO, a) 1 300 x 0.6 + 500 X 0.4 ~ 380( 元 ) 
从 平均 收益 看, 采取 行动 a 为 上 策 , 可 见 由 先 验 信息 形成 的 先 验 分 布 
在 决策 中 很 起 必用. 

如 困 在 -一 个 决策 问题 中 还 可 获得 有 美的 先 验 分 布 ,这 样 的 决策 
问题 称 为 无 数据 (无 样本 信息 ) 决 策 问题 . 在 文献 6 中: 节 详 细 讨 论 ,本 章 
不 作 研 究 . 

2. 样本 信息 ,从 与 自然 界 ( 或 社会 ) 的 状态 8 有关 的 环境 中 去 盾 
样 ,从 获得 的 样本 中 了 解 当今 状态 8 的 最 新 信息 ,这 失 的 关键 是 要 确定 
一 个 概率 分 布 ,使 8 恰好 是 其 未 知 参数 . 

如 果 在 - -个 决策 问题 中 还 利用 样本 信息 ,这 种 的 问题 称 为 统计 决 
策 问题 . 如 果 在 一个 统计 决策 问题 中 还 利用 先 验 信息 .这样 的 问题 称 为 
Bayes 决策 问题 .本 章 先 讲述 统计 决策 问题 ,然后 峙 计 Bayes 决策 问 
题 , 为 了 更 好 地 认识 统计 决策 问题 ,我 们 先 春 下 面 - -个 例子 . 

例 5.3 某 工 | 的 产品 每 100 件 装 成 一 箱 运 冯 需 客 ,在 向 顾 寄 交 
货 前 面临 如 下 两 个 行动 . 

0: 一 箱 中 逐一 检查 ; 
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a;: 一 箱 中 都 不 检查 . 
车 11 选择 行动 1; 则 可 保 证 交 货 时 每 件 产品 者 是 合格 品 .但 因 每 件 
产品 的 检查 费 为 0.8 匹 ,为 此 工厂 要 支付 检查 费 80 元 / 箱 . 车 工厂 选择 
行动 ,工厂 可 免 什 每 箱 检查 费 86 元 :但 顾 宅 发 现 不 合格 品 时 , 按 合同 
不 公允 许 更 换 , 而 且 每 件 还 要 支付 12.5 元 的 赔偿 费 . 按 此 算得 : 

若 一 箱 中 不 合格 品 不 超过 6 件 , 赔 偿 费 入 超过 75 元 , 那 选 择 行 动 
az E41 有利 ; 

若 一 箱 中 涉 合格 品 不 少 于 7 件 ,; 赔 偿 费 椒 低 汗 87,5 元 , 那 选 择 行 
动 ai 比 az 有 有利， 

为 了 得 知 一 第 中 的 不 合格 品 率 9, 工厂 决定 先 在 每 箱 中 抽取 两 件 
进行 检查 ,于 为 其 不 合格 品 的 件数 ,根据 外 的 取信 (可 能 取 0,112 三 
种 ?再 选择 行动 ww 或 az. 这 时 工厂 的 支付 苯 数 可 算得 

80D， 他 一 4 、 
W802) = (5. 1) 
1.6 十 12500， A de 
如 何 依 据 抽样 结果 和 支付 另 数 作出 决策 ,使 工厂 的 支付 费用 最 少 呢 ? 这 
是 一 个 典型 的 统计 决策 问题 . 


$5.1.2 统计 决策 问题 的 三 个 基本 和 要素 


构成 一 个 统计 决策 问题 有 如 下 三 个 基本 要 素 . 

1. 可 控 参 数 统计 结构 (党 ,: 阁 , {pe : 8E€ 昌 )). 共 中 参数 空间 如 中 
每 个 元 素 就 是 自然 界 或 社会 可 能 处 的 状态 . 从 慨 率 密度 画 数 potx) 抽 
样 , 获 得 样本 瑟 = (Xi :就 是 为 了 从 此 样本 获取 有 关 吕 的 最 新 
信息 .以 便 更 好 地 作出 决策 .在 具体 问题 中 , 当 实 际 背 景 了 解 得 很 清楚 
时 ,选择 和 确定 这 样 的 结构 是 不 难 做 到 的 . 譬如 ,在 例 5.3 中 ,选用 二 项 
分 布 族 形 成 的 统计 结构 是 很 自然 的 事 ， 

2， 行动 空间 {入 ,Vs) ,其 中 4 二 a} 是 为 解决 菜 统 计 据 策 问题 时 ， 
大 们 对 自然 界 ( 或 社会 ) 可 能 作出 的 一 切 行 动 的 件 体 .4 中 的 每 个 元 素 
表示 一 个 行动 . 党 。 是 和 4 工 的 某 个 = 代数 ,这 是 为 以 后 扩充 概念 而 假设 
的 . 璧 如 ,在 例 5. 3,4= teatyasj 中 只 合 两 个 行动 ,其 中 e 表示 一 逢 中 的 
产品 每 件 都 检查 ,a; 表示 一 箱 中 的 产品 每 件 都 不 检查 . 这 两 类 行动 决 
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第 问题 在 实际 中 常会 遇 到 . 

一 个 行动 空间 妨 至 少 应 傅 有 两 个 行动 ,假如 入 中 内 有 一 个 行动 ， 
那 人 和 们 就 无 需 选 择 , 从 而 也 形成 东 了 一 个 统计 决策 问题 . 

3. 损失 函数 了 工 (8.a): 它 是 定 文 在 加 X4 上 的 二 元 函数 . 它 表示 当 
自然 异 (或 社会 ) 处 于 状态 8 时 ,而 人 们 采取 行动 < 对 人 们 引起 的 (经 
简 ) 损 失 . 损失 函数 工 (2,a? 是 把 决策 与 经 济 效益 联系 在 一 起 的 桥梁 , 有 
了 它 抉 策 才 能 进入 定量 分 析 阶 段 . 它 要 很 据 实 际 情况 确定 . 是 三 个 要 素 
中 最 重要 的 要 素 . 当 98 和 4 都 是 有 限 集 时 ,损失 函数 就 成 了 损失 答 阵 . 

这 里 的 损失 靖 数 是 从 收益 函数 .亏损 函数 .支付 函数 .成 本 函数 等 
概念 引申 出 的 更 -一般 更 有 效 的 概念 . 譬如, 某 商 店 一 个 月 的 经 营 收 益 为 
一 1090 元 即 写 1000 元 . 这 是 对 成 本 而 言 . 在 这 里 不 称 其 为 损失 ,而 称 
其 为 亏损 . 我 们 讲 的 损失 是 指 * 该 赚 而 没有 赚 到 的 钱 ”, 上 成 “不 该 亏 而 亏 
损 的 钱 ? 或 "不 该 支付 而 支付 的 钱 ” 和 艾 如 ,一 商店 本 可 又 2000 元 ,由 于 
决策 失误 面 二 了 1000 元 , 那 我 们 说 该 商店 损失 了 3000 元 ,又 如 ,一 次 
加 班 上 共 需 5 位 工人 就 可 完成 ,可 去 了 ?了 位 工人 ,工作 虽 是 完成 了 ,可 工 
三 多 支付 了 2 位 和 人 的 加 班 费 就 是 损失 . 用 这 种 观点 去 认识 损失 对 提 
高 决策 意识 足 很 有 好 处 的 - 

从 收益 函数 很 容易 获得 损失 函数 , 先 看 下 面 的 例子 . 

合 5.4 某 公 司 购 进 某 种 货物 可 分 为 太 批 ,中 批 和 小 批 三 种 行动 
《依次 记 为 a1,a:,as). 未 来 市 场 需求 量 本 分 为 高 .中 和 低 三 种 状态 ( 依 
次 记 为 外 ,0;;, 鲍 ). 这 三 种 行动 在 不 同市 场 状态 下 效 得 的 利润 如 下 ( 单 
人 世 : 千 元 》 


在 1 Aa2 tg 
19 5 218, 
= 3 二 2 如， 
一 27 一 心 .8 1 


这 是 一 个 收益 矩阵 . 现 我 们 按 损失 的 含义 把 它 改 写 为 损失 集 阵 . 

当 市 声 处 于 状态 名 C8 二名 ) 时 ,从 久 的 第 一 行 可 以 看 出 ;这 时 的 景 
优 行 动 是 a, 可 收益 10 000 元 . 倘若 经 理 采 取 行 动 c:, 这 峙 收益 仅 为 
5000 元 . 与 最 优 行动 4a; 相 比 ,要 少 得 10 000 一 5000 一 5000 元 ,这 5000 
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元 为 公司 “该 赚 而 未 赚 到 的 钱 ”, 是 8 一 2 ,<=as 时 经 理 的 损失 信 , 即 
ta) 一 5000 元 ,类 似 地 ,工人 (8 ,as) 一 10 000 一 2000 一 8000 元 . 而 
Eu) 一 以 即 无 损失 ). 这 是 因为 当 品 发 生 时 ,经 理 所 采 取 的 是 最 优 
行动 ce 用 同样 的 方法 可 算出 8 与 a 在 不 同情 况 下 的 一 切 报 失 值 , 假 
如 把 这 些 损失 按 昧 来 次 序 排 成 一 个 矩阵 (单位 : 干 元 ) 
1 位 2 ds 
0 5 310 
区 一 | 1 0 2:0, 
3.7 1.8 ols, 
这 个 矩阵 称 为 经 理 的 损失 算 阵 . 从 上 述 转 杭 过 程 中 可 以 看 出 . 损失 
值 是 指 经 理 该 赚 而 未 赚 到 的 钱 . 经 理 在 做 决策 时 ,下 尽量 避免 大 损 炎 ， 
追求 无 损 和 .只 有 经 理 的 快 策 为 最 优 时 损失 才 会 为 堆 . 
-- 般 说 来 , 当 收 益 函 数 为 驴 人 29,z) 时 ,自然 界 ( 或 社会 ?处 于 时 的 
最 大 收益 为 maxQ(8,a), 而 人 们 采取 行动 a 的 损失 值 为 
LB,a) = maxQ 8,a) — Qa) (5. 2) 
类 似 地 , 当 决 策 用 支付 函数 WW(8,a) 时 (如 例 5.3 所 示 ), 它 是 趟 小 越 
好 ， 日 然 界 ( 或 社会 ) 处 于 8 时 的 最 小 支付 为 minW《8,a) ,而 人 们 采取 行 
动 a 的 损失 值 为 


Liga) = Wa) — minW hu? (5. 3) 
[A] 


例 5.5 某 公 司 购 进 一 批 货 物 投放 市 场 , 巷 购 进 数 量 a 低 于 市 场 
需求 基 所 即 a 拓 们 ,每 吨 可 县 15 万 元 . 著 购 进 数 量 。 超过 市 场 需求 量 #8 
( 即 s 盖 的 ,超过 部 分 每 吨 反 要 亏 35 万 元 ,由 此 可 写 出 其 收益 函数 
15cy Cs 由 
158 一 35(2 一 的 ， a~8 
容易 看 到 ,在 购销 过 程 无 损耗 时 , 购 进 量 4 等 于 市 场 需求 其 4 时 ,收益 
达到 最 大 ,此 时 收益 为 Q09, 四 一 158. 再 根据 (5.2) 武 ,立即 可 写 出 其 损 
和 失 图 数 为 


Qay 一 | 


15s(8— a), 了 


了 ia) = | . 
35({a 一 用) ， a 
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该 损失 男 数 表明 : 当 购 进 数量 e 慨 于 市 场 得 求 基 用 时 ,有 15(98 一 a) 万 元 
的 钱 是 该 赚 而 没有 赚 到 . 这 是 损失 , 当 购 进 数 量 a 高 于 市 场 需求 量 8 
时 ,有 35(4a 一 站 万 元 的 钱 是 不 该 亏 的 而 亏 了 ,这 也 屁 损 失 . 

碍 统计 类 策 问题 的 三 个 基本 要 素 中 最 重要 的 是 殷 失 酒 数 , 它 把 闫 
策 行动 与 后 果 联 系 起 来 了 . 有 了 损失 清 数 就 等 于 把 后 果 信 息 引 入 到 统 
计 间 题 中 米 了. 


$5.1.3 常用 的 损失 函数 


损失 疝 数 Lt,a) 是 要 根据 实际 问题 而 定 的 .但 水 论 在 什么 场合 ， 
令 后 总 要 求 损 失 函 数 是 非 负 的 , 即 
Li,a) 2 0, VEBaEA 《5. 4) 
这 等 价 于 把 最 小 的 损失 定 为 零 , 这 不 权 不 和 失 损 失 清 数 的 会 义 , 而 且 对 今 
后 研究 带 来 方便 . 
一 般 总 认为 :行动 a 商 状 态 人 请 迹 而 引起 的 损失 请 大. 所 以 损失 画 
数 (8,2) 应 是 距离 1a 一 8| 的 非 降 阔 数 . 常 取 
Lid,a) = ACB) :g(a — 81) 《5. 5) 
其 中 四 守 0, 且 有 限 ; 它 反映 决策 中 ,由 于 台 鸣 不 同 , 即 使 同一 个 偏差 
|a 一 中 造成 的 危害 性 常 不 一 样 . 而 g(t) 是 :的 非 降 函 数 . 最 常见 的 形式 
是 
LiBa) = A la — | 
其 中 在 党 中 非 负 整 数 , 最 常用 的 形式 是 如 下 蕊 种 . 
1. 平方 损失 函数 
Ze) 一 (aa 一 的 C5.6) 
或 加 权 平 方 损 失 晴 数 
LBa) = MO ta — BY C5.7) 
这 是 在 统计 决策 问题 中 用 得 最 多 的 损失 图 数 . 人 们 之 所 以 喜爱 用 这 个 
损失 函数 部 分 理由 是 把 g 中 在 零点 展开 成 Taylor 级 数 时 ,二 次 函数 是 
一 入 很 好 的 近似 , 另 -一 部 分 的 理由 是 它 与 最 小 二 和夫 法 的 形式 相似 ,将 来 
计算 方便 ,又 有 一 些 很 好 性 质 . 它 的 失真 之 处 在 于 不 是 上 有 界 ,致使 损 
失 随 着 偏差 ,a 一 8| 谱 大 而 核 平 方 律 增 大 ,直至 无 穷 . 这 会 使 人 很 担忧 . 


§ 5.1 统计 决策 问题 .309 。 


2, 线性 损失 函数 
[KAO a), a 
LB,a) -1 _, a (C5. 8) 
其 中 下, 和 到, 是 两 个 常数 ,它们 的 选择 常 反 里 行 动 e 见于 状态 9 和 高 
于 状态 8 的 相对 重要 性 . 枫 5.5. 中 的 损失 路 数 就 是 线性 的 . 
当下 ;二 下 时 ,就 得 绝对 报 失 了 晴 数 
La) 一 1a 一 乡 | 《5. 9) 
车 天 ,天 分别 是 站 的 函数 , 则 称 加 权 线 人 性 换 失 函数 
KNB a), 4H 
ba) = {pe a0 ‘5. 10) 
3.0-1 损失 函数 
0, |a 一 8| 过 
LtiB,a) = | {5.11) 
1， le 一 8 
这 里 的 < 呈正 数 , 这 种 损失 了 画 数 常 在 两 行动 雇 策 问题 中 合用, 这 里 的 0 
与 1 与 其 说 是 损失 大 小 ,还 不 如 说 是 有 无 损失 的 示意 . 特别 当 有 损失 
时 ,其 损失 很 少 与 起 实 损失 近似 . 更 现实 的 损失 可 能 起 
0, la 一 8 雪上 


1 
Ld,a) = 
(01 k, jz 一 有 | 尖 E 


(5. 12) 


L(g,a) = 19， | 一 le 
"OT RD, la Oe 
4， 多 元 二 次 损失 函数 , 当 音 和 gg 均 为 针 维 向 鞭 时 ,可取 如 下 二 次 


型 必 为 损失 沙 数 


《5. 13) 


L(g,a) = {a — HA — 0) 5.14) 
其 中 = Ba 在 各 为 大 攻 四 阶 正 定 旗 . 当 应 为 对 
着 阵 时 , 即 站 二 diag (te ss"** Yep) ,出 此 £ 元 纤 朱 是 数 为 
2 
LB,a) = Dw(a; 一 此)3 C5.15) 
i=1 


其 中 请 ze 可 看 作为 各 参数 重要 性 的 加 权 . 
上 述 损失 因数 大 多 用 于 状态 4 和 行动 上 都 十 连续 变量 场合 . 实际 
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中 常会 遇 到 行动 空间 和 A 只 但 有 限 个 行动 的 问题 ,二 行动 线性 湛 策 问题 
就 是 其 中 最 简单 的 类 . 下面 以 例子 形式 加 以 投 述 . 

例 5.6 设 某 一 统计 决策 问题 只 有 两 个 行动 可 供 选 择 , 即 A= {ai， 
as} ,而 状态 8 可 以 是 离散 的 ,也 可 以 是 连续 的 . 在 这 种 场合 ,由 于 行动 
只 有 两 个 ,很 容易 获得 每 个 行动 下 的 收益 函数 或 支付 函数 ,假如 这 些 函 
数 都 是 如 的 线性 落 数 , 警 如 ,其 支付 函数 为 

W(8,a) = ' Tm, eT (5. 16) 
Bs mB, 四 一 es 
其 中 mp 让 篆 为 已 知 男 数 . 这 类 问题 称 为 二 行动 线性 决策 问 
题 . 


如 


图 5,1 线性 支付 函数 (ml<omz) 
在 这 类 问题 中 两 个 线性 函数 常 有 一 个 交点 《 见 图 5.1), 此 交点 容 
易 算得 0, = Ch — bo) ms — my). 由 损失 函数 的 定 闵 (5. 3) 和 容易 算得 好 1 
和 a* 时 前 损失 函数 值 , 当 ssebo 时 ， 
L(G,a)— WO,a1) 一 minW(9,a) 
LT 
= 6 + me - (Bs + m0) 
一 上 一 已 十 (Ca — me)8 
LOsa)= WO,as) — minW (9,a) 一 0 
可 民 
类 仆 地 , 当 59> 时 ,有 


Lda) 一 站 
了 (Ga 一 «ph, 一 石 1 十 《zz 一 me 


§ 5.2 决策 上 函数 和 风险 区 数 * 311 


由 此 可 得 二 行动 线性 决策 问题 的 损 先 函数 


Bm md, 0 
Le 一 人 ' ， 
0» ?> 《5. 17) 
0， 9 : 
Lig,ay 一 | 
ds pl 十 (ie 加 nm 0, Ee &, 


前 述 的 例 5.3 就 是 二 行动 线性 决策 问题 ,在 那里 支付 沙 数 如 (5.1) 所 
示 ,相应 的 扣 失 函数 可 算得 


78.4 — 12508, 中 六 由 
也 (GD) 一 | 

0， 9 六 

0, #8 
LiD, a) 一 | “ 

一 78.4 十 12509， 昌 > 品 


其 中 思 二 0. 062 72. 对 线性 收益 函数 @(9,a) 亲 可 类 似 获 得 根 兴 函数 . 


3 5.2 决策 函数 和 风险 困 数 


当 纵 出 一 个 统计 结构 ( ,天 ,1p ;8E9)), 一 个 行动 空间 (A4， 
Bs) 和 一 个 损失 哨 数 LC9,a) 等 三 要 紊 后 ,就 确定 了 一 个 统计 决策 问 
题 . 为 了 在 一 个 统计 决策 问题 中 选择 行动 进行 决策 .我们 需要 决策 函数 
与 风险 晒 数 等 概念 . 


$ 5.2. 1 决策 男 数 


定义 5.1 在 一 个 统计 决策 问题 中 ,从 样本 空间 (4 受 鸳 ) 到 行动 
空间 53, 汤 。) 的 可 测 映照 5(z) 称 为 ( 非 随机 化 决策 两 数 . 

这 里 了 要求 847) 可 测 是 使 有 关 5(Cz} 的 事件 有 概率 可 言 , 而 “ 非 乔 机 
化 "是 指 样本 总 -- 经 确定 ,决策 者 所 采取 的 行动 8(z) 也 唯一 确定 . 再 
无 任何 随机 性 可 言 , 而 当 样 本 确定 ,SCz) 尚 不 能 唯 -确定 ,还 要 按 一 定 
前 概率 分 布 在 各 中 抽样 才能 确定 ,这 样 的 决策 西数 将 称 为 随机 化 决策 
函数 . 它 将 在 后 面 详细 叙述 . 

其 上 上 述 定 义 可 见 , 当 行动 空间 如 是 某 个 实数 集 时 ,上 述 快 策 画 数 
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就 是 统计 量 ,可 决策 也 数 还 允许 其 值 不 是 实数 而 是 某 个 行动 , 在 例 5, 3 
中 由 和 肥 一 40,1:2} 到 4 一 {aiyas} 的 一 切 可 能 的 变换 都 是 决策 函数 ,其 
中 每 个 决策 函数 的 取 值 不 是 实数 ,而 是 特定 的 行动 a \ 全 数 检查 ) 或 a 
(一 个 也 不 检查 》. 


§5.2.2 风险 函数 


定义 5.2 设 人 XX) 是 一 个 统计 决策 问题 中 的 决策 函数 ,那么 损失 
本 数 LCO0.6(X)) 关 于 样本 六 的 分 布 pstx} 的 数学 期 望 


RG,0) — Ex LO,SCKY] = | L067) pd (5.18) 


称 为 决策 函数 3(X) 的 风险 函数 . 有 时 简称 风险 . 其 中 x 是 控制 测度 ， 
常 取 Lebesgue 测度 或 计数 测度 . 

从 上 述 定义 可 见 , 风 险 就 是 平均 损失 ,平均 损失 是 愈 小 人 钝 好 . 它 是 
用 来 度 基 决策 函数 好 坏 的 一 把 尺子 . 当 决 策 画 数 8(X) 给 定时 ,风险 函 
数 仍 是 8 的 函数 . 比较 两 个 疾 策 函数 六 (和 人 (的 好 坏 就 要 看 其 
风 丛 西数 RR(0.61) 和 民 (9,62) 的 大 小 . 比较 两 个 函数 的 大 小 是 困难 的 . 
少数 场合 [ 见 图 5.2(2a)} 可 以 立即 看 出 谁 好 谁 坏 . 多 数 场 合 ( 见 图 5.2 
(5)) 是 不 易 区 分 的 ， 


ay 


图 5.2 两 个 风险 陋 数 的 比较 
上 几 种 可 比较 风险 函数 大 小 的 场合 可 由 下 面 的 定 浆 给 出 ， 
定义 5.3 设 6CXE) 和 说) 是 统计 决策 问题 中 的 商 个 决策 函数 . 
假如 其 风险 申 数 问 有 


$5.2 决策 图 数 和 风险 国 数 + 313* 


RG) EERO), YOEDB 
且 存 在 --- 些 8 梧 不 等 式 成 立 . 则 称快 策 画 数 3.CX) 一 致 优 于 5.4X). 根 
如 其 风险 函数 间 有 

R06) = RGB), WY HED 
则 称 决 策 陋 数 冯 CX) 与 5,( 革 ) 等 恰 . 

定 兴 554 设 急 ==16(X) 是 一 切 可 能 定义 在 (他 ,和 史 ) 上 而 在 (A4， 
才 。) 上 取 值 的 决策 函数 的 全 栖 . 假如 在 决策 画 数 类 各 中 存在 这 样 一 个 
决策 陋 数 58* (XD) ,使 得 对 任 一 个 8( 芝 )E 绝 箔 有 

RO) RIB), WHEN 
则 称 5" 《X) 为 (该 决策 函数 类 人 名 的 ) 一 融 最 小 风险 决策 函数 ,或 称 一 
致 最 优 决策 前 数 . 

上 上述 两 个 定义 都 是 对 某 一 个 给 定 插 失 函数 而 言 的 . 当 损 失 函 数 改 
变 了 ,结论 可 能 不 成 立 了 .在 定义 5.4 中 ;还 要 对 上 明 -决策 函数 类 而 言 
的 . 当 决 策 汞 数 类 改变 了 ,一 致 最 优 性 可 能 就 不 具备 了 . 

例 5.7 设 二 和 xs 是 从 下 列 分 布 获得 的 两 个 观察 值 

PR = — 1)= P(X =8+1)=0.5, E686=RR 
现 把 它 放 在 统计 决策 问题 的 框架 下 来 厂 究 8 的 估计 问题 ,六 此 取 行 动 
空间 4 二 于, 损失 函数 为 
Lda} = 1 — Tta) 

其 中 ICa) 为 示 性 函数 , 当 a 一 8 时 它 为 1, 否 则 为 0, 大 家 知道 ,从 样本 
空间 . 沈 二 {tx ,zr:)} 到 行动 空间 4 上 的 决策 函数 有 许多 , 现 考 察 其 中 
三 个 ， 

《17 Crisza) 二 《ri 十 rz) 12, 其 风险 函数 为 

ROG) =1— Pt = 人 DQ=1— Pr Fr.5, VOEDH 
《27 Cx) 一 一 1 其 风险 函数 为 
RIG,6)= 1 — Pr, = 
一 1 一 Pofzrl 一 有 十 1 一 各 5， YES 

(3) hl 丰富 什 风 险 函 数 为 


TI 一 1， TI Ts 
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R08,)— 1— Pd,= 
二 1 一 Prtwi 关 XT 或 X= 二 8 二 1) 二 0.25. WaER 

假如 只 限于 考察 这 三 个 决策 函数 组 成 的 类 名 = 16 ,总 ,09) ,那么 加 是 
此 恬 策 阔 数 类 中 一 臻 最 优 决 策 函 数 , 当 决策 函数 类 扩大 或 损失 函数 故 
变 时 ,6, 的 最 优 性 可 能 会 消失 . 

例 5.8 在 例 5.3 中 我 们 讨论 了 一 个 二 行动 线性 统计 决策 问题 . 
在 那里 有 两 个 行动 可 供 选 择 ,一 是 每 箱 100 件 产品 逐一 检查 (ci); 另 一 
是 每 箱 中 .- 件 都 不 检查 (az) ,工厂 决定 : 先 从 每 箱 中 任 到 两 件 检查 , 执 
后 根据 检查 结果 再 作 决 策 , 这 里 抽样 检查 结果 为 0,1,2 等 不 合格 品 件 
数 . 由 此 可 见 , 从 孚 =10,1,3) 到 4 一 falazj 上 的 任 -变换 都 是 该 统计 
决策 问题 的 决策 函数 . 此 入 决策 函数 共有 8 个 ,它们 是 


I 习 1 2 
从) Al En Al 
ar) 可 1 如 a 
dtr) 站 EE Ee 
du} al 如 Qa 
B37} A dl Ql 
dst) As at Aa 
办 ds Ql 
a} qs A Ga 


莹 如 ,5tz) 仅 在 x 二 0( 抽 两 忻 产品 全 是 合格 品 ) 时 采取 行动 a;( 一 
人 忻 都 不 查 ), 而 二 在 为 1 或 2 时 采取 行动 ai( 逐 一 检查 ) ,或 者 写 为 
性 一 1 ,2 
0 Cr) 一 
das 并 二 避 
在 抽检 两 件 产 品 后 ,工厂 为 每 箱 移 支付 函数 只 (2,a) 已 在 例 5.3 
中 指出 ,在 例 5.6 中 还 把 它 改 写 为 如 下 损失 函数 
| 一 12500， 8 
了 (Dai 二 
0， 日 全 外 
0， 人 


LB,a:) 一 | 
一 了 8.4 十 125009， 日 人 > 所 


§ 5.2 决策 六 数 和 风 辽 函数 = 315 - 


其 中 的 一 0.062 72. 另外 车 设 瑟 为 扯 取 两 件 产品 中 的 不 合格 上品 的 件 
数 , 则 入 服从 二 项 分 布 5(2, 站 , 即 


2 
Px Da 一 oo 
-让 


出 此 可 算得 8 个 决策 函数 的 风险 函数 . 警 如 astry 的 风险 范 数 为 
RDB Cr)) = EL (B,D (CX)) 
= LB CO PR 一 0 LO PX 一 1) 十 
LO, dC2)) P(X = 2) 
= Lad tl — 0:4 LaD) .2001 — D+ LB a) 
把 损失 枉 数 代 人 , 当 8 所 名 时 
尽 (B,6ifzr)) = (78.4 一 1250 [1 - (1 — 8)°] 
当 8 外 时 
只 (BBCz)) 一 (一 78.4 十 12509)01 一 的 
类 似 地 可 写 出 其 它 几 个 狼 策 画 数 的 风险 函数 . 它们 是 


Rig Bcl = (84 12500, 0 
‘0 (1) 二 0， 8 
78.4— 12500) (1 一 &), | 

RCO,B, Cr) _ 站 4 一 12508) (1 > ， SE Vo 
(一 78. 4 十 12500)8， §>>0 

78,4— 12508)[1 一 28 0)], [| 

RQ,6,C1)) 下 4 12508) [1 28(1 )] Se Un 
《一 78.4 十 12500) + 28(1 一 人， > 

78.4 一 12500) (1 — 8):, [| 

RQ, C1)) = J 4 125063 (1 ) < 
《一 78.4 十 12508)[ 半 一 (1 一 有]， 8 半 久 

.4 一 ，28(1 一 8) ， 
ROG, C2)) /8 4 — 12508) , 20(1 一 8) [EA 
《一 78. 4 十 12500)F1 一 2801 C2)], 66 
。 《?8.4 一 125029) 闵 ， 

RG,B, (x)) =— 1 ， 6 
《一 78.4 十 12500 (1 一 多)， 二 

0， [EE 


RO,6.(7x)) 一 
1 78.4 + 12500), 8 六 


“316 。 第 五 章 ”统计 决策 理论 与 Bayes 分 析 


这 些 风险 晒 数 在 8=-060.0210. 12 的 值 已 列 在 表 5.1 中 . 
表 5.1 $$ 个 凤 输 函数 慎 介 一 6<6. 人 2)0. 42 单位 ,元 3 


ROO,SCrY) 9 0.02 004 no6 oog 010 0.12 
民 (88 Cr | 784 53.40 28.40 3.40 0 0 0 

RISA | Tg8.4 53.38 28.35 339 0.14 047 1.03 
ROBBT) | 3784 S5131 26.22 302 3.14 8.39 15.12 
RBE)) | 78.4 51.29 2617 300 332 8.85 16.15 


Rd, ds (tr)) 0 2- 11 2. 23 0.40 18.68 37.75 55.45 
Rid, de lr})} 0 2.09 2.18 0. 38 18.42 38.2] 56 48 
本 (站 Br (3 自 0. 日 过 0.05 0-.01 21. 4 46.13 70.57 
RO, ds tr)) 0 0 0 21.60 46.60 -71.60 


从 表 5.1 上 可 以 看 出 : 

1. 项 该 厂 的 不 合格 品 率 9 在 0 到 0.12 之 间 , 那 在 此 8 个 天 策 西数 
组 成 的 类 中 不 存在 一 致 最 优 吹 策 函 数 . 

2. 堵 该 厂 的 不 全 将 品 率 8 在 0 到 0.06 之 间 . 那 在 此 决策 画 数 类 
中 6s(z) 一 us( 一 件 也 不 检查 ) 是 一 致 最 优 决策 羡 数 . 

3. 车 该 厂 的 不 合格 品 率 昌 在 0.07 到 0.12 之 问 , 那 在 此 决策 函数 
类 中 8 (z) 一 ai( 逐 件 检查 ) 是 一 致 最 优 决 策 函 教 . 

4, 若 该 厂 的 不 合格 品 率 9 在 0. 04 到 0. 08 之 间 ,用 "“ 针 抽 样 ,后 决 
策 ” 的 塘 法 可 以 使 平均 损失 大 为 减少 .但 仍 选 不 出 一 致 最 优 决策 酉 数 . 


§ 5.2.3 经 典 统计 推断 三 种 基本 形式 的 再 描述 


经 典 统计 推断 的 三 种 基本 形式 :点 估计 ,区 间 估 计 和 假设 检验 都 可 
让 看 作 一 种 特殊 的 统计 决策 问题 . 这 里 先 从 统计 决策 观点 看 点 帖 计 问 
题 . 

1. 点 帖 计 问 题 . 

设 有 一 个 可 控 参 数 辣 构 ( 旬 ,各 {po : 6E€@})) ,又 设 六 二 (Xs ， 
X,) 基 其 一 个 样本 , 在 半 求 参数 8 的 点 司 计 间 题 中 ,我 们 把 行动 空间 4 
取 为 参数 空间 介 , 即 4 三 全 . 佑 计量 8 一 CX,-… ,XX,) 就 是 从 样本 空间 
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党 到 行动 空间 A 上 的 一 个 决策 函数 .损失 阔 数 了 (9, 人 可 解释 为 当 吕 
为 真 傅 数 时 ,而 用 85 去 估计 它们 所 引起 的 损失 . 这 样 :来 ,点 值 计 问题 
就 是 -个 特殊 的 统计 决策 问题 . 

假如 摸 失 是 数 为 平方 损失 也 数 

工人 一 六 一 个 一 0 

那么 风险 函数 尺 (8, 的 一 Exe(p 一 9 就 是 均 方 误差 .这 时 最 小 均 方 生计 
就 是 2 的 一 切 决 策 函 数 类 纪 中 的 一 致 最 优 决 策 蝗 数 . 在 第 二 章 中 曾 指 
出 此 种 佑 计 并 不 存在 ,假如 把 决策 函数 类 限于 #8 的 无 篇 犀 计 类 名 | 中 ， 
那么 其 风险 函数 就 是 方差 ,这 时 8 的 一 致 筷 小 方差 无 篇 簿 计 
(UMVUE) 就 是 及 | 中 的 一 致 最 优 决策 医 数 , 从 决策 理论 看 ,最 小 方差 
不 是 -个 知 计 为 “最 优 ?的 唯一 标准 . 改变 损失 曙 数 后 就 可 得 另 一 种 意 
六 下 的 最 优 知 讨 . 警 如 ,Pitman 考虑 寻找 这 样 一 个 合计 大 【证 
去,)， 使 得 1 人 "8 近 c 的 概率 为 最 大 ,其 中 < 为 基 事 先 答 定 的 正 数 . 这 
种 个 计 阿 题 也 可 看 作 … 个 特殊 的 统计 雇 策 了 癌 题 ,这 其 要 取 0-1 损 和 失 玛 
数 
0, | — 8|Ae 


Li0,.0*) 一 
必 |2 — 8 te 


于 是 寻找 Pitman 意义 下 的 最 优 估 计 ; 就 是 在 0-1 损失 酒 数 下 寻找 最 小 
风险 决策 耳 数 问题 . 
2. 区 间 估 计 问 题 
设 有 一 个 可 控 参 数 结构 (他 ,和 客 , {po : 9€ED)), 对 设 下 二 C1， 
及 .J 是 其 中 … 个 样本 . 在 寻求 参数 #8 的 区 间 估 计 问 题 中 ,我 们 可 把 行动 
空间 4 取 为 某 个 给 定 的 区 间 类 ,如 
2 :直线 上 所 有 的 有 界 区 闻 类 
22: 直 线 上 长 度 不 超过 第 定 值 c 的 区 间 类 
这 时 4 中 每 个 行动 就 是 一 个 区 间 ,决策 函数 就 是 定义 在 .党 上 而 在 4 
中 取 值 的 区 间隔 数 . 


CT) = CA (Tz) ,ds (7 
其 中 9. Cr 和 d;(x) 为 区 间 的 两 个 端点 .着 取 如 目 损 失 葡 数 
L907)) = mds 一 人》 十 zz [ - I. .a C0)] 
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其 中 sm! 和 ms 为 某 两 个 给 定 正常 数 .第 一 项 表示 这 个 区 间 (di ,ds) 长 粗 
引起 的 损失 ,第 二 项 表达 了 当 49 不 属于 区 间 (a ,4d;) 时 而 引起 的 损失 ， 
这 时 其 风险 函数 为 
RG CHY) = mExed; — di) + msPOO 和 (ai 可) 

其 中 第 一 项 与 平均 长 度 成 比例 ;第 二 项 与 区 间 不 包含 真 值 的 概率 成 比 
例 . 

假如 六 |,…' ,六 是 来 自 正 态 兽 体 入 (8,o) 的 一 个 样本 ,那么 在 给 定 
置信 水 平 1 一 zf0<a<1) 后 ,可 用 :统计 量 获得 0 的 置信 区 间 


. 了 _ 
(di (x) ,d(x)) 一 E: (一 1) ,到 十 sn — 1) 


= 


其 中 亏 为 样本 均值 ,2 一 2771Czy 一 4)?/(n 一 1),1s(n 一 1) 为 是 自由 度 
为 a 一 1 的: 分布 的 a/2 上 侧 分 位 数 .于 是 其 平均 长 度 为 


~ 2 , 
i 
一 2 Y 2 gla Cn 1) "| | 
wa 一 了 r| "| 
而 该 区 间 不 包含 真 值 8 的 概率 为 
PLe 可 {di da}] 于 
所 以 最后 的 风 栓 函数 为 
rT| 5 
2 VD 2 | 
R 2, dl ds i | 在 一 一 一 一 一 一 
{2, )) 本 ota (A "rs 十 ag 


|! 2 
在 这 样 的 统计 决策 问题 中 要 寻找 一 致 最 优 决 策 函 数 也 是 办 不 到 的 , 即 
使 在 后 一 0 或 ms 一 0 场合. 寻找 一 致 最 优 ( 平 均 长 度 最 短 或 包含 错误 
值 的 概率 最 小 ) 决 策 晤 数 也 只 三 特定 的 区 闻 类 中 才能 实现 ( 见 第 四 章 )， 
3, 假设 检验 问题 
设 有 一 个 可 入 参 数 结构 (有 , 吉 ,{Ps :859)), 又 设 B6 和 四 是 8 
的 两 个 不 相交 的 非 空子 集 . 又 设 时 二 (EL 民 ,) 是 其 -个 样本 ,在 原 


$5.2 决策 沙 数 和 风险 请 数 "319* 


假设 @, 对 备 择 假设 日, 的 检验 问题 中 ,我 们 常 把 行动 空间 4 取 作 为 仅 
有 两 个 行动 组 成 的 集合 ,有 时 就 令 
本 = {0,1} 

其 中 “0* 表 示 接 受 不 假设 @@ 1 表示 拒 鲍 原 假设 5( 接 村 备 择 假设 ?这 时 
损失 函数 (8,2) 可 解释 为 当 8 为 真 时 ,采取 行动 a( 取 0 或 1 所 下 起 
的 损失 . 这 样 一 来 , 原 假设 @ 对 备 择 假设 8B, 的 检验 问题 就 可 看 作 一 个 
统计 决策 问题 . 

在 这 个 决策 问题 中 ,决策 函数 (六) 就 有 是 样本 空间 受到 行动 空间 
总 的 一 可 测 变 换 . 若 记 

W = {re CT) 
现任 一 决策 函数 可 表示 为 
1 (Tp) EE W 
CT1 0) = 
- 0， Cri 和 WW 


这 表明 , 任 一 个 决策 函数 是 拒绝 域 的 示 性 函数 . 


假如 损失 郴 数 取 如 于 形式 
， Eg, 
ro.o 一 人 和 
i, OE€@, 
站 ee 1 
ro.D=-1 和 
1l， dE€E 8, 
于 是 决策 明 数 8( 芝 ) 的 函数 为 


RIO OX)) = EveL(d ,6(X)) 


| Lostzydps + | L(G,6CxDdP, 
他 fr 一 上 可 5 工 》 -有 


| 7.C8,13dP + [ LE, OdP, 
L'a 


Px EW, dE 
-fp ew. Em 
这 表明 : 当 9€ GB, 时 ,其 风险 就 是 犯 第 工 类 错误 的 概率 . 当 8E6B 时 ,其 
风险 就 是 犯 第 1 类 错误 的 概率 ,假如 记 5Cx) 的 执 函 数 为 
Pr = PetR EW), EB, LS. 
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那么 风险 虹 数 与 势 函 数 间 有 如 下 关系 

Bel ， 0 EE 9, 

— BD, dé a, 
Neyman-Pearson 假设 检验 理论 的 基本 思想 是 在 限制 犯 第 I 类 错 

误 概 率 不 超过 某 一 个 正 数 a 的 条 件 下 , 寻 措 使 犯 第 1 类 错误 概率 尽 可 

能 小 的 指 绝 域 ,这 在 统计 类 策 理 论 中 等 价 于 寻找 这 样 决策 聘 数 8" (zx)， 

在 满足 


RBG(T)) = 1 


supRB,d (xr)) Ea 
8E 的 | 


条 件 下 ,使 得 对 样本 空间 县" 中 任 一 子 集 的 示人 性 函数 5tx) 有 

RAGO (rN) 和 RCI， 人 E 落 
所 以 寻找 : 臻 最 优势 给 验 的 问题 仍 是 特定 损失 函数 下 的 统计 决策 问 
题 . 第 三 章 馆 术 的 Neyman-Pearson 假设 检验 理论 才 明 ,对 单 边 假 设 检 
验 问 题 , 一致 最 优势 检验 有 时 要 把 决策 西 数 扩大 到 随机 化 决策 画 数 类 
中 才能 找到 ,而 对 驳 边 假设 和 检验 问题 ,一致 最 优势 榨 验 要 把 决策 遂 数 限 
于 无 偏 检 验 类 中 才能 找到 ， 

至 此 已 看 到 统计 推断 中 的 三 种 基本 形式 都 可 看 作 特 定 行动 空间 和 
特定 损失 函数 下 的 统计 决策 问题 . 所 以 在 统计 决策 理论 杠 架 里 不 仅 能 
讨论 经 典 统计 量 中 的 一 些 问题 . 还 可 进一步 研究 很 多 新 的 有 趣 问 题 . 此 
外 ,我 们 还 看 到 ,在 样本 空间 受 ” 到 行动 空间 A 上 的 一 切 决策 函数 组 成 
的 决策 函数 类 名 中 寺 找 -- 致 最 优 决策 函数 往往 不 能 奏效 ,只 能 在 其 一 
个 特定 的 子 类 多 ,已 多 中 才 有 可 能 寻 得 一 致 最 优 诀 策 曙 数 . 或 者 扩大 
到 随机 化 决策 果 数 类 中 才能 寻 得 一 致 最 优 决 策 函 数 . 


35.2.4 最 小 最 大 估计 


根 如 我 们 不 是 全 面 对 风 险 孙 数 进行 之 点 比较 .而 只 对 风险 函数 蘑 
一 侧面 进行 比较 ,从 中 选 出 在 这 一 侧面 上 最 优 的 决策 畏 数 . 这 就 形成 了 
众 特 的 统计 决策 准则 . 其 中 尤 以 最 小 最 大 准则 和 Bayes 风险 准则 最 党 
下 和 最 有 意义 . 这 里 先 叙 述 最 小 最 大 准则 . 

设 有 -可 控 套数 结构 (党 ,: 滨 ,1 pe: 8€ 昌 )) ,行动 空间 和 和 损失 本 


$ 5.2 决策 国 数 和 内 答 阔 数 * 321 = 


数 了 42:3) ,又 设 纪 为 该 统计 决策 问题 的 某 个 决策 耳 数 类 ,其 风险 函数 
如 (5, 18) 式 所 示 . 

定义 5.5 在 上 述 假设 下 , 若 在 决策 函数 类 凶 中 可 选 出 这 样 的 决 
策 晴 数 3 Cr) .使 得 

supR(9 6 (7)) 一 ,inf SUPAC2GCz)) (5. 19) 

则 称 8 Cx) 为 该 统计 决策 向 题 在 最 小 最 太 风 险 准 则 下 的 最 优 闫 策 孙 
数 , 或 称 最 大 风险 最 小 化 的 决策 函数 ,简称 最 小 晤 大 (Minimax) 决 策 孙 
数 , 在 点 估计 间 题 中 ,8 《zx) 还 称 为 最 小 最 大 (Minimax) 居 计 . 相应 的 风 
险 称 为 最 小 最 大 风险 . 
节 小 最 大 决策 函数 的 获得 可 分 为 两 步 进行 ,第 步 是 对 多 中 每 个 
决策 函数 SCz) 算 出 其 最 大 风险 值 supR(9,34z)) ;第 二 步 是 在 记 有 的 最 
大 风险 值 中 选取 相对 最 小 值 . 此 值 对 应 的 决策 函数 便 是 Minimax 决策 
函数 . 从 上 述 求 解 过 程 可 见 , 最 小 最 大 淮 则 是 翅 风险 函数 的 比较 转化 为 
最 大 风险 比较 ,是 在 所 有 最 大 风险 中 选择 具有 最 小 风险 的 决策 沙 数 . 从 
策略 观点 上 来 看 , 它 是 预防 最 大 风险 出 现 的 一 种 稳 受 策略 ,一 种 悍 守 的 
策略 ,这 种 策略 , 遭 到 不 少 人 的 批评 . 葡 如 有 两 个 决策 函数 襄 (x) 和 
807) .其 风险 函数 ( 见 图 5. 2(05)) 一 个 为 常数 . 另 一 个 在 大 多 数 场合 都 
有 较 小 的 反 险 ,民有 很 少 机 会 出 现 较 太 风险 .有 些 人 主张 选用 .Cz). 
可 男 一 些 人 主张 选用 训 (x). 这 种 差别 大 密 是 由 于 决策 人 所 处 的 环境 
不 同 而 引起 的 , 譬如, 当 企 业 较 小 ,资金 薄弱 ,经 济 上 经 不 起 大 的 冲击 
时 , 常 采 用 最 小 最 大 准则 . 又 如 很 多 人 参加 人 圭 保 险 和 财产 保险 ,也 出 
于 此 种 策略 ,他 们 宁可 平时 无 事 花 点 钱 , 免 招 突然 的 火 顶 之 灾 ， 

例 5.9 在 例 5.8 中 我 们 遇 到 有 8 个 次 策 苑 数组 成 类 

本 一 1 人 :69886808 

恨 如 参数 空间 母 选 为 10,0. 12], 即 不 合格 品 率 如 在 0 到 012 之 间 ，* 那 
从 才 5.1 上 容易 看 出 冤 中 每 个 决策 函数 所 具有 的 最 大 风险 值 ( 见 表 
5. 2), 从 中 立即 可 得 亲 (7x) 是 最 小 最 大 风险 准则 下 的 最 优 决 策 汕 数 . 其 
中 Cx) 为 


全: 一 性 
Gs CC = | 


i101. 
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即 从 每 箱 中 随机 抽取 西 个 产品 进行 粒 查 , 当 其 中 没有 一 件 是 不 会 格 品 
时 就 不 再 检查 其 它 产品 ; 当 其 中 至 少 有 一 件 是 不 合格 旧时 就 对 全 箱 产 
节 净 一 检查 ,采用 65;(z) 所 引 忠 的 最 大 平均 损失 是 55. 45 元 / 箱 . 这 是 
它 的 最 小 最 大 风险 . 

表 S$2 8 个 风险 函数 的 最 天 值 


Br) supR(O dC) SC) supR{O,BCL)) 
内 Cr 78. 14 全 ; 55- 45 
Cr 四 ?8.4 全 5 号 后 .站 号 
Sr) 78. 4 全 7 了 D- 57 
GC) 8 | 8 1 71. 60 


例 5.10 设 开 是 正 态 总 悼 NB8,1) 抽 取 的 (容量 为 1) 样本 . 
一 1 6X) 二 cX ye 为 任意 实数 } 
寻找 音 的 合计 .车 取 平方 损失 , 则 2 中 竹 一 个 合计 分 的 风险 函数 为 
RB)— EoseeR — = Ev oD + tc 一 18]: 
一 5 十 (cec 一 17 你 
容易 看 出 , 当 c 一 1 时 ,RI8,67 一 1. 而 当 c>1 时 ,有 
RAG) RAG), YOER 
所 以 当 c>>1 时 ,如 是 一 致 优 于 他. 可 当 c 安 1 时 :诸如 的 风险 函数 呈 交 
及 状态 , 故 对 诸 所 险 攻 数 恶 点 比较 ,在 多 中 没有 一 臻 最 小 风险 估计 . 
但 它们 在 玉 上 的 最 大 风险 可 以 算出 
]， = 1 
ce 天 1 
可 见 , 按 最 小 最 太 淮 则 ,5,(X) 二 芒 是 8 在 纪 | 中 的 最 小 最 大 情 计 ,其 最 
小 最 大 风险 为 1. 
最 后 指出 ,至 今 尚 无 直接 获得 最 小 最 大 决策 函数 (估计 }) 的 简单 方 
潜 , 但 有 一 些 间 接 方 法 可 以 采用 ,这 将 在 以 后 有 关 章 节 中 得 加 以 叙述 ， 


supRG,6.) = suplrc: + Ce C— 1) 交 ] = 
BER BE 
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8 5.2.5 随机 化 决策 函数 


当 给 定 样本 观察 值 z 时 , 非 随机 化 决策 画 数 SCzr) 在 4 上 选 歌 行动 
是 唯一 确定 的 . 可 在 某 些 统计 决策 问题 (如 假设 检验 问题 ?中 ,即使 样本 
观察 值 x 给 定 , 还 有 必要 以 某 种 随机 方式 在 4 中 选取 行动 才能 改善 决 
策 效 果 . 假如 这 器 的 随机 方式 用 概率 分 布 明 人 确 表 示 ,那么 就 获得 随机 化 
决策 函数 ， 

定义 5$.6 在 给 定 的 统计 决策 问题 中 , 老 对 样本 空间 县 中 每 个 工 
在 行动 空间 (A,. 笔 ,) 上 有 一 个 条 件 分 布 8 。 12) ,由 条 忻 分 布 族 

{6CDIZI,Y DE Br.Y) (5. 20》 
称 为 该 统计 决策 问题 中 的 一 个 随机 化 决策 薄 数 , 记 为 6tD |z). 该 统计 
决策 问题 中 的 一 切 随机 化 决策 函数 组 成 的 类 称 为 随机 化 决策 画 数 类 ， 

从 上 述 定 文 可 以 看 出 ,这 个 随机 北 决 策 阔 数 类 加 蚌 一 个 很 大 的 
类 , 它 包 括 一 切 可 能 定义 在 (4A, 各 ,上 的 概率 分 布 . 当然 也 和 包括 一 切 可 
能 的 退化 分 布 . 当 5CD1x) 是 退化 分 布 ; 则 在 给 定 工 下 ;随机 化 决策 覆 
数 将 以 概率 1 在 入 中 取 某 个 行动 , 记 这 个 行动 为 8(x), 这 样 一 来 ， 
人 (大 就 是 非 随机 化 决策 画 数 Brz). 从 而 有 :人 统 忆 多 ,其 中 多 为 同一 
统计 决策 问题 中 的 非 随机 化 决策 函数 类 

有 从 上 述 定 尽 还 可 看 出 ,假如 把 非 钴 机 化 决策 函数 8(z) 看 作为 “一 
次 抽样 ?的 活 ,那么 随机 化 决策 函数 BCDIzr) 可 看 作为 “二 次 抽样 ”, 这 
二 次 分 别 是 : 

第 一 次 :在 样本 空间 , 受 - 中 按 总 体 分 布 pstz) 随 机 抽取 一 个 样本 
xo* 与 此 同时 也 就 确定 一 个 条 件 分 布 站 (P1zc): 

第 -次 :在 行动 空间 4 中 按 条 件 分 布 3422|xx,) 抽 取 一 个 行动 ,用 此 
行动 对 自然 界 (或 社会 ) 的 状态 (或 参数 ?作出 州 断 . 为 了 实现 这 一 点 ,可 
以 按 条 件 分 布 #5(P1xzro 设 计 一 个 随机 试验 或 贿 机 模拟 ,使 其 产生 的 一 
个 结果 就 等 价 于 从 3(DPilco) 中 随机 抽 歌 一 个 样本 - 

例 5.11 设 有 一 个 统计 结构 [R" 55 :1pr 5 bl) 和 一 个 行动 
空间 (aa;,: 季 ) . 殷 如 行动 空间 如 只 含有 两 个 艺 素 ,那么 相应 的 随机 化 决 
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策 阔 数 6 万 |z) 就 是 4 上 的 二 点 分 布 族 . 对 于 这 类 分 布 只 要 对 和 中 某 
一 个 元 素 给 出 概率 ,那么 此 二 点 分 布 就 完全 确定 了 . 譬如 , 记 4 一 iao， 
4 ,对 任意 的 zxE 字 ,给 出 ai 的 概率 
他 (elir) 一 8 0<Hz) < 1 
那 公 
Sra lI) = 1 — $r) 

这 样 一 来 ,只 要 在 样本 空间 . 受 上 给 出 一 -个 仅 在 [0,1] 上 + 了 取 值 的 函数 
$Cz) ;就 可 以 构造 一 个 随机 化 决策 薄 数 .假设 答 验 再 论 中 正 是 这 样 和 浇 
的 . 在 那里 称 上 述 定义 中 的 站 7z) 为 检验 遇 数 ,特别 当 #8‘z) 只 能 取 0 或 
1 时 , 即 #(x2? 是 某 个 集 的 示 性 函数 时 ,这 种 $Cx) 对 应 的 决策 耳 数 就 是 
非 随 机 和 化 的 ， 

类 似 好 , 当 4 一 failyaz} 合 有 有 限 个 或 可 数 个 行动 时 ,只 要 在 .有 
上 给 出 有 上限 个 或 可 数 个 实 函 数 抽 (zr] ,由 5Cz)，…… 使 得 

(1) T0119， 


(2) She) =l, 

就 可 以 构造 -个 随机 化 决策 函数 . 
da; Try = h(x), i 二 12 让.” 

随机 化 决策 画 数 主要 在 理论 研究 中 使 用 ,出 于 其 种 优良 性 而 需要 
引 人 央 机 化 决策 国 数 . 但 它 在 实际 中 很 少 被 采用 . 因为 拉 行 动 的 最 后 决 
策 留 秽 某 种 随机 化 方法 来 决定 对 当今 的 次 策 者 是 难以 接受 的 . 性 在 时 
到 聪明 的 对 手 时 ,随机 化 决策 是 最 好 的 方法 . 美国 统计 学 家 Berger 对 
此 人 举 了 如 下 的 例子 汪 ， 

例 $.12 甲乙 二 人 进行 赌博 ,二 人 同时 亮 出 手中 的 一 核 三 市 . 车 
两 枚 硬币 同 为 正面 或 同 为 反面 , 则 甲 得 1 元 ,否则 乙 得 1 元 . 由 于 甲 对 
正 反 两 面 任何 有 规律 的 选取 方法 都 会 被 聪明 的 对 手 ( 乙 }) 识 破 ; 从 而 获 
胜 . 甲 为 了 避免 这 种 根本 性 的 失败 的 唯一 方法 就 是 申 按 随机 方式 选取 
正面 或 反面 .因为 只 有 这 样 乙 的 联 明 才智 无 法 施展 . 赌博 在 机 会 均等 下 
进行 . 
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8 5.2.6 随机 化 决策 函数 的 风险 函数 


如 何 评 价 一 个 随机 化 决策 旺 数 8CD|z) 的 优 劣 呢 7? 大家 知道 ,一 个 
用 CD .产生 的 行动 a 要 经 过 二 次 抽样 才 可 效 得 ,一 是 从 总 栖 分 布 
pstzt) 随 机 抽取 :个 样本 r， 二 是 从 条 件 分 布 36DIzy 随 机 抽取 一 个 行 
动 a; 这 样 获 得 的 行动 具有 二 重 随机 性 . 当 把 这 个 行动 代 人 斤 失 函数 
(8,4) 中 时 ,损失 函数 也 有 一 重 随 机 柱 ,为 了 消除 这 二 重 随 机 性 的 影 
响 ,我 们 要 作 “次 平均 才能 确定 一 个 非 随机 基 . 下 而 的 定义 正 是 这 样 考 
虑 的 . 

定 兴 5.7 设 有 -个 参数 结构 [: 且 :党 ,人 :0 中 和 一 个 行动 
空间 (4, 光 ,又 设 有 (|r) 是 其 上 的 一 个 随机 化 决策 函数 ,网 把 损失 
跨 数 L(98,a) 对 条 件 分 布 5CD|z}) 的 数学 期 望 


6,6) = EL LO,a)] = [L083cdalz) (5.21) 


称 为 CD|z) 的 加 权 提 失 池 数 ,而 把 上 (8,8) 赤 总 体 分 布 potx) 的 数学 
期 望 
RID,6)= E, elE, LL(0,a)]) 


[50,0) pcr)de 


[LL | Le0,a 3da 人) | pat x dz 《5. 22) 


称 为 8(D|z) 的 风险 活 数 

显然 .3(CPIz) 的 加 权 损 失 函 数 反 应 了 在 庆 = 上 时 ,随机 化 决策 本 
数 60D | 所 引起 的 平均 损失 ,这 时 工 仅 是 8 和 样本 观察 慎之 的 函数 ， 
特别 当 5CD|zr} 为 退化 分 布 时 ,有 芽 (89,8) 二 L489.6). 这 意味 着 如 上 定义 
和 的 吉 权 损失 烽 数 既 保 持 了 原来 损失 函数 的 特性 ,又 能 反映 在 随机 化 决 
策 苑 数 场 台 引 起 的 损失 困 数 ,从 而 加 权 报 失 医 数 村 pslx) 的 平均 所 得 
到 的 风险 上 阅 数 ,也 包含 了 原来 风险 的 各 种 特性 .四 此 用 定 尽 5.7 中 的 风 
险 敬 数 症 为 评价 一 个 随机 屁 诀 策 范 数 的 尺度 是 合理 的 ,也 与 非 随 机 化 
决策 函数 的 评价 是 统一 的 ， 
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在 给 定 的 统计 决策 问题 中 ,把 次 策 函数 类 从 非 随 机 化 决策 函数 类 


急 拓 广 到 随机 化 决策 函数 类 多 时 ,决策 效果 往往 


可 以 得 到 改善 . 这 一 


点 在 假设 检验 理论 研究 中 已 得 到 证 实 . 在 那里 由 
使 一 致 最 优势 检验 (UMPT) 存 在 . 类 伺 地 在 于 上 


F 引 人 随机 化 检验 , 致 
寻求 最 小 最 大 个 计 训 


比 在 绎 上 的 寻求 最 小 最 大 估计 在 最 小 最 大 风险 上 会 得 到 改善 . 下 面 的 


例子 说 明 这 个 向 题 ， 


例 5. 13" 设 随机 变量 服从 Poisson 分 布 


(4) ,其 中 未 知人 参数 


4 羽 训 能 取 六 一 1 和 六 二 2 中 的 一 个 ,根据 一 次 试验 辣 果 x, 构造 如 下 十 


个 统计 量 . 
dt CT) = A = Oy 
F050) = Aisd CT) 一 Az ,I = 2 


Cr) = A 一 [人 一 A st 一 2 


他 人 了) 一 = 02 ry) = t= 
dT7)= T= 0,1,2,365 (7) 一 如， 并 
BT hr = 012,3,4106(T) 一 力 
B,C) Ast Oo Ol 


Da 
3 
一 由 ,5 


a 二 Dad 


Oa tr) ALsI 为 偶数 ;6 (x) 一 ;区 为 麻 数 


dr) = A 并 一 1 ,2 ;8 (0) 一 A, 


dT} = A 区 — i oC} 一 ApsT = 11 
在 这 10 个 估计 中 ,前 几 种 是 合理 的 ,而 后 几 种 纯粹 是 数学 上 为 说 


明 问 题 而 设置 的 ,从 实用 观点 是 不 合理 的 . 这 不 影 
选 最 优 的 估计 . 


嘛 我 们 按 合理 准则 挑 


En 行动 空间 4 {a} 取 得 与 参数 空间 8 二 {14} 相同 , 妓 


和 A 二 从 二 ). 而 取 损 失 和 矩阵 如 下 : 
a=1 如一 多 
| 0 1 
100 4A 二 2 


在 这 样 个 统计 决策 问题 中 ,上 述 10 个 千 计 的 各 种 风险 函数 值 
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ROMA 一 1.217 二 1929 10. 计算 结果 列 丁 才 5.3 中 . 
表 5.3 阳 个 风险 丁 数 在 1 一 1:2 的 值 


maxiReard,) 


5 
.GCmin) 


6 
了 
? 
了 
本 
9 
5 
了 


从 表 5.3 上 可 见 , 当 名 是 上 述 10 个 估计 组 成 时 ,参数 1 的 最 小 
最 大 估计 是 6.tx). 假如 把 随机 化 估计 也 作为 专 虑 对象 ,那么 参数 4 的 
最 小 最 大 估计 将 会 得 到 改善 .下 面 分 几 步 来 研究 这 个 问题 ， 

1. 每 一 个 估计 看 人 在 庆 和 入 各 有 一 个 风险 值 . 记 为 x 一 RCA， 
全 各 一 及 Ca 人) 假如 把 y; ,ys 看 作 是 直角 坐标 条 的 两 个 坐标 ,那么 
多 | 中 竺 一 个 佑 计量 就 对 应 此 坐标 系 中 的 -点 .图 5.3 作 出 了 癌 ，， 
Bo 所 对 应 的 点 . 从 这 种 几何 解释 可 以 看 到 ,估计 类 有 是 由 第 一 象限 内 
的 10 个 点 组 成 的 - :个 集合 . 假 妇 在 多 , 中 增加 一 个 生计, 就 相当 于 在 
坐标 平面 上 增加 一 点 ， 

2. 我 们 把 随机 化 估计 增加 到 经 中 去 ,为 此 先 考 虑 一 种 特殊 形式 
的 随机 化 估计 其 洒 , 它 在 样本 x 给 定 条 件 下 以 概率 户 取 Btx) ,而 以 概 
率 1 一 户 取 宁 (x); 其 中 0p 过 1; 也 可 记 为 ; 


合 ” AT) dr) 


《5. 23) 
Fr | pp 1-p 


* 328 + 第 五 章 ”统计 决策 理论 二 Bayes 分 析 


考虑 到 5,(x}) 和 5;(z} 的 上 其 体 定义 ,8* 有 如 下 含义 : 
6" (0) 二 久 
8" (1) 是 一 个 随机 变革 ,其 分 布 为 ; 
PB ft) 一 加 一 看 
Pi 1) 一 0 一 1 一声 
全 (zj 和 二 23 
这 种 形式 的 随机 化 估计 的 风险 函数 可 以 从 式 子 (5. 22)? 有 求 得 ,但 在 这 里 
它 可 到 通过 B 4z) 和 865z) 的 风险 函数 的 扣 权 平均 来 计算 , 这 是 因为 ， 
对 7 二 1,2. 有 
RA dp RA — pp) 
= SLOSIP Tp DLSNP {AIC -- p) 


— NLS)P + LONGYC — p) JP, (x) 
= > LO CrP CE) 


一 RA) 
由 此 可 以 看 出 ,这 种 随机 化 估计 量 8 (z) 在 坐标 平面 上 对 应 的 点 是 位 
于 在 5% 和 6 的 连 线 上 ,2 的 不 同 只 意味 着 它 在 连 线 二 的 位 置 不 同 ,但 
都 一 定 在 连 线 之 问 ， 

这 个 例子 是 具有 一 般 性 的 ,可 以 想象 ,假如 把 形 如 (5. 23) 的 随机 化 
估计 都 加 入 到 纪 , 内 , 则 在 坐标 平面 上 就 等 于 增加 原来 10 个 点 之 间 的 
两 两 连 线 . 假如 在 这 些 线段 上 任 取 两 点 , 作 形 如 (5. 23) 的 随机 化 估计 
量 , 并 把 这 些 估计 量 也 加 入 到 多 中 去 ,那么 在 坐标 平面 上 的 点 就 形成 
一 个 区 域 , 记 为 20, ,并 岂 还 是 一 个 凸 区域. 这 是 因为 形成 这 个 区 域 的 过 
程 就 是 被 照 帖 区 域 的 要 求 进 行 的 . 

3. 最 后 所 得 凸 区 域 多 ， 上 的 点 可 以 分 为 两 类 . 一 类 是 此 西区 域 的 
“西南 方向 "的 边界 点 , 即 靠近 y 轴 和 yy 轴 的 边界 点 ;其 他 的 点 组 成 第 
二 类 点 . 显然 ,对 第 -关中 任 一 点 (yy ai 可 以 在 第 -类 中 找到 一 点 
(yye) ,使 得 wy sw 这 只 要 连接 原点 与 (y:.y。) ,其 连 线 与 
“西南 方向 "边界 线 的 交点 就 是 所 要 找 的 点 . 因此 在 六 区域 填 寻求 参数 
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Rt rd) 


图 5.3 的 估计 量 的 几何 表示 (全 5.13) 

4 的 最 小 最 太 倘 计 , 可 以 仅 限 于 在 第 一 类 点 中 入 找 . 

#4， 为 了 在 乡 , 中 注 措 和 4 的 最 小 最 大 居 计 .我 们 借助 于 直观 的 几何 
必 和 图 方法 ,在 图 5.3 上 作 直 线 y; 一 y1, 它 与 西南 边界 交 于 种 点 ; 风 点 末 
对 应 的 估计 就 是 所 要 半 找 的 最 小 最 太 估 计 . 这 是 因为 在 直线 OM 下方 
的 点 有 人 全 加: 在 直线 OM 上 方 的 点 有 之 ys; 在 直线 OM 上 的 点 有 
和 一》:- 所 以 “西南 方向 ”边界 线 上 任 一 点 (内 点 放 外 ), 至 少 有 一 个 举 
和 标 要 大 于 点 好 的 举 标 , 注意 到 这 些 坐 标 都 是 风险 阴 数 的 取 慎 ,就 可 说 
明 点 M 对 应 的 估计 就 是 所 要 寻找 的 参数 4 的 最 小 最 大 居 计 . 

出 于 点 对 在 线段 525; 上 , 故 对 应 的 随机 化 佑 计量 86* (x) 具 有 形式 
《5. 23) .其 中 关键 在 于 寻求 p. 容易 求 得 点 M 的 隧 个 坐标 组 为 24. 28， 
于 居 槛 用 风险 函数 间 的 关系 式 (5. 23) 可 得 方程 : 
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31.6p + 13.2(1 — py) 一 24. 28 
解 之 可 得 p 一 0.6, 这 就 说 明 敌 数 4 的 最 小 最 太 悄 计 5 (xr) 是 具有 如 下 
分 布 的 随机 化 估计 : 


1 
6* | Btz) Sr) 


注意 到 佑 计 名 CCz) 和 人 4z) 的 具体 形式 ,还 可 以 把 8 写作 :8 (0) 

二 机 6” (1) 是 一个 随机 变量 ,其 分 布 为 
PB (0) = 1)= 0.6,P(H.0) ~ Hh) = 0.4 
BH" Cr) = hr = ,3 

这 个 估计 仅 在 x==1 时 是 随机 的 ,而 在 x 了 1 时 都 是 非 随机 的 . 根据 
z 一 1 时 的 分 布设 计 一 个 随机 试验 是 不 难 的 . 这 个 随机 化 估计 的 最 小 最 
大 风险 为 24. 28, 要 比 原 贸 , 中 的 最 小 最 大 估计 3,{x) 的 最 小 最 大 风险 
31.6 要 小 一 些 . 

顺便 指出 ,从 这 个 例子 可 以 看 出 ,随机 化 决策 函数 类 多 对 是 组 合 
运算 是 封 针 的 . 而 非 随 机 化 决策 函数 类 名 对 上 山 组 合 运 算是 不 封闭 的 . 
对 上 同 组 合 运 算 都 不 封闭 的 决策 旺 数 类 不 能 认为 是 满意 的 .所 以 从 数学 
观点 看 ,决策 函数 研究 不 应 限于 非 随机 化 决策 菌 数 类 . 


$ 5. 3 决策 函数 的 容许 性 


$5.3.1 决策 函数 的 容许 性 


利用 风险 冰 数 对 决策 函数 的 容许 性 作出 评价 不 在 于 选 优 ,而 着 眼 
于 除 劣 . 加 

定义 5.8 对 给 定 的 统计 决策 问题 和 随机 化 决策 凸 数 类 绍 , 决 策 
函数 加 Dr) 称 为 非 窜 许 的 ,假如 在 多 中 存在 有 另 一 个 决策 函数 
BDIz) 满 足 如 下 两 个 条 件 : 
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1. ROBODERGO ON YY OED 

2. 在 日 中 至 少 有 一 个 镶 , 有 RC 的 ,81) <RR( 64) 

假如 在 及 中 不 存在 满足 上 述 二 条 件 的 决策 函数 , 则 称 名 (Drz) 为 
容许 的 . 

从 这 个 定义 可 见 , 非 容许 决策 函数 是 不 应 被 采用 的 , 辟 如 ,在 凸 损 
失 函 数 下 ,随机 化 央 策 浮 数 常常 是 非 容 许 的 ( 见 定 理 5.1). 若 在 多 中 
剔 去 非 容许 决策 函数 后 ,余下 的 容许 决策 蚂 数 仍然 居 很 多 的 ,它们 的 风 
险 河 数 呈 交叉 状态 ,各 自在 不 同 的 地 方 比 其 他 的 监 好 一 些 . 所 以 容许 决 
策 蚌 数 还 不 一 定 是 一 个 很 有 将 的 升 计 . 我 们 使 用 的 决策 函数 至 少 应 是 
答 许 的 ;但 不 是 任 一 容许 决策 函数 都 可 使 用 . 譬如 ,不 依赖 于 样本 的 常 
数值 秆 计 BCz) 一 名 常常 是 容许 估计 ,因为 它 在 8 一 名 处 给 出 精确 的 个 
计 值 - 这 种 只 顾 包 一 点 ,不 顾 其 他 点 的 展 计 和 是 不 会 为 人 们 采用 的 . 决策 
函数 的 容许 性 的 实际 意义 在 于 缩小 挑选 的 范围 . 

容许 性 问题 常 在 点 悄 计 问题 中 讨论 ,这 -- 章 也 将 主要 讨论 点 居 计 
的 容许 性 问题 ， 

例 5.14 设 天 /,-… ,及 .是 来 自 正 态 总 体 NC(0,o?) 的 一 个 样本 .大 
家 知道 ,常用 的 估计 (这 里 蚌 在 非 随 机 化 决策 陆 数 里 讨论 》 


- 1 忌 1 
J2 一 2 (Xi — RR LX 


其 一 1 
是 5 的 无 偏 估 计 , 基 在 平方 损失 函数 下 它 的 风险 RR(o? ai ?为 
EC6? -07)* 一 -2 
nO—1 


假如 我 们 考虑 形 如 3(Cr) 二 eo? 的 情 计 ,在 同 桩 的 二 次 损失 函数 下 ,5 (zx》 
的 风险 为 
RBC 一 下 (ec oy? 
= EC oo 十 of ey 


— 2 2 | 
“+ 


令 SO 一 攻 +(1 一 2 , 它 是 :的 二 次 函数 , 且 在 cm 一 2 处 达到 最 
让 ,所 以 令 
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出 有 

2 

nn 二 1 

这 样 就 证 明了 估计 oi 是非 容许 的 ,因为 o3 比 of 的 风险 一 至 更 小 .但 
要 注意 ,这 并 不 意味 着 估计 o3 一 定 是 容许 的 , 警 如 若 取 


RIG ,G1) > RlG ,G2) = 


Ee 
它 的 风险 
Ra 5 和 = E(GF — 90): C=- 二 ;0 


由 于 Ro ,G3)<RCG ,6G 引 ,所 以 5 仍 是 非 容 许 估 计 . 
§$ 5.3.2 Stein 效应 


正 态 均 值 用 其 样本 均值 去 估计 有 很 好 的 性 质 , 它 是 无 偏 的 ,方差 最 
小 的 和 有效 的 . 当 把 这 样 的 知 计 推广 到 户 元 正 态 分 布 场合 时 出 现 了 意 
想不到 的 结果 . Stein 在 1955 年 指出 ,在 二 以 损失 函数 下 ,p 之 3 时 , 样 
本 均值 向 量 是 正 态 均值 向 量 的 非 容 许 合 计 . 这 个 结果 在 当时 统计 界 引 
起 变动 效应 ,产生 了 研究 容许 性 的 热潮 ,并 持续 二 .三 上 年 之 久 . 如 今 把 
这 个 效应 称 为 Stein 效应 (Stein effect). 这 里 先 用 例子 形式 来 叙述 
Stein 的 结果 ,然后 氢 述 其 影响 . 

例 5.15 卢 元 企 态 总 体 均 慎 的 咎 计 . 

设 着 =X Nc) :其 中 二 ,p46)' 毛 RR*. 如 今 
对 互 作 -- 次 观察 ,并 用 观察 结果 5CX) 一 《及 1 , 芝 ,} 去 舍 计 jg. 现在 二 
次 损失 落 数 

Ln = (Ho M(B on) 
下 研究 483) 的 容许 性 问题 .Stein 在 1955 年 指出 5 于 ) 在 p 宇 3 时 是 灿 
的 非 容 许 秆 计 ””1, 但 证 明 不 是 销 移 性 的 ,到 1961 年 ,james 和 Stein 给 
出 了 比 8CX) 一 向 更 优 的 怖 计 :1 
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总 
这 个 人知 诗 被 称 为 James-sStein 千 计 .选用 这 个 估计 的 直观 想法 出 自 于 
ECX'X) 一 下 { XI + + XI)= p+ Hp 

这 就 竺 诉 我 们 , 当 用 于 去 知 计 上 时 ,下 的 平均 长 度 下 (有 和 ?实际 上 比 总 
的 长 度 大 . 这 是 一 种 系统 刁 盖 ,需要 改进 .改进 的 方法 就 是 将 下 和 溢 以 基 
一 个 覆 止 因子 . Stein 考虑 到 这 个 修正 因 于 与 区 和 户 有 关 , 故 选用 
| 1 如 时 | 作为 修正 因子 . 

为 了 证 明 辣 ( 甘 ) 是 5 的 非 容 许 居 计 ; 我 们 只 柴 证 明 

Ru BC7)) 一 RON ES CK)) > 0 
即 可 . 汶 此 需要 进行 一 系列 计算 
RnBC7)) — RONBSUr)) 


SSX)— |1— Bis X (5. 24) 


= EX WE Elx Pp 2x 中 [x -如 Ex 一 


XE 
= —212 2g)- 4 — DER | 


下 人 面 我 们 将 来 计算 上 式 花 括号 中 的 两 个 数学 期 望 ， 
我 们 知道 ; 当 于 一 和 Nj Cp,T) 寺 , 生 X 服 从 非 中 心 Gamma 分 布 


Galas4,) ,其 中 a 一 妇 ,4 一 二 ,Y= 二 277 re, 所 以 


2 2 
i 1 1 Ne 1 人 Ta 
E 一 - 上 才 2 | 
~ ey 1 一 下 寺 赤 -5 
ER 户 十 2 下 一 2 "| TR 


假如 把 天 看 作 -个 随机 变量 , 它 服从 参数 为 y 一 立 > 的 Poisson 


分 布 . 这 样 一 米 , 上 式 数 学 期 望 就 是 对 此 Peisscn 分 布 求 的 .下 曾 我 们 
来 计算 第 二 个 期 望 ,为 此 作 如 下 正 交 变换 : 
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y [wf VHRR 
! 基 
Y=|:|= 大 
Y, : 


其 中 * 表示 与 上 /YHH 正 交 的 任 一 个 行 向 量 . 于 是 
EC 一 | vp,0,..%,0)' 6 
Vart?}= J 
这 表明 了 ~ 和 N,(B,1,), 并 且 在 上 述 正 交 变换 下 ;有 YY 了 一 和 ,HE 二 
VE YY 与 (zw… Yi) 相互 独立 ,由 此 可 以 看 出 (< 一 YH) 


2 加 ， 
Y,~ Na,1), 2 一 六 于 一 Ga[ 2 1 ,六 j 
二 


所 以 Y 与 Z 相互 独立 ,其 联合 分 布 为 


a 
1 _ ta 7 a) 1 _1 1 x 
所 一 一人 过 2 人 3 


(ED 人 一方 (31)， 声 (z) = 


其 中 y,ER,zER: .于 是 
| 敌 )-*[ 品 |- 


XX 


了 
十 Z| 


a 


四 i Yl og d 
"27 2 Tr| 2 | 十 TT 
作 蛮 换 
下 Yl 
一 十 之 
其 Jacobian| 了 | 二 1, 于 是 
Ea 
E| 堵 蛋 1 A < 


| 


ee dr 一 1 ey 
| |, ui (Hz 一 zt 和 


= oa 
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上 述 对 zx 的 积分 可 以 利用 下 述 积分 公式 : 


1 spt. 对 
一 一 ul (ms 一 wu ) 2 eswl 3 
irl] ie, 
a 是 上 
> 2 二 Ht-1 到 


代 回 原 式 , 即 得 
Eh 
i ， 全 va 2 1 
E| Ci¥)= ae 人 (有 1 2f+#P 2 t k! 
3 


县 2 由 | 2K 
-> 2 二 -5 
我 们 把 天 看 作 一 个 随机 变量 , 它 了 服从 参数 为 7 二 扫 一 这 p= 二 5)? 


的 Poisson 分 布 ,这 样 一 来 ,上 式 数学 期 望 就 基 对 此 Poisson 分 布 求 
得 . 


把 上 面 算得 两 个 数学 期 望 代 回 原 式 ,可 得 
RL Bx)) — RO BES)) 
HX 1 |、 
一 人 2)| 2 se ix) (p El | 
2K ， i 1 

一 5- -gz 寺 家 一 5|] 
1 
Ea 十 2KK 一 


一 (p 2)|? 2E,l 


= (p 2) 下 ,| 5 到 二 3)> 0 当 p 2 
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由 此 看 出 , 妆 疡 笠 3 时 ,有 5) 一 下 是 非 容 许 估 计 ， 

这 个 结果 发 表 以 后 ,引起 各 国 统 计 学 家 的 思索 , 瞧 虚 广 很 多 的 问 
题 . 如 类 似 的 现象 是 否 在 其 它 分 布 族 中 亦 会 出 现 吗 ? 常用 的 统计 量 是 
否 都 是 容许 的 ?对 一 些 分布 族 的 参数 ,其 容许 估计 的 充分 条 件 或 充 要 大 
件 是 什么 ? 这 种 再 党 是 从 是 由 于 损失 吗 数 引起 的 ? Stein 的 这 个 结果 皆 
人 们 留 下 了 极其 深 启 的 印象 ,引起 了 一 系列 的 研究 . 

局 如 在 妍 究 James-Stein 和 佑 计 中 ,大 们 发 现 , 当 观察 向 量 * 接近 于 
零 时 , 因 了 -1 一 (pp 一 2)/x'xj] 会 出 现 负 值 ,其 至 当 xx >*0 时 ,这 个 因子 
会 趋向 -= ,对 此 Baranchick 《1970) 提 出 如 下 的 截 尾 估 计 进 行 改 
和 进 011 


i [ 
B=|1— ) x 一 和 5) 
， XT 0, 其 它 
其 < 满足 产 …?sc 乏 208 一 2 这 个 合计 被 称 为 截 尾 J-S 估计 . 它 一 致 地 
比 不 截 尾 」S 估计 (5.24) 要 优 , 特 别 到 -对 55 作 柱 改进 .但 是 对 不 同 
的 c 租 ,(5.25) 的 风险 函数 仍 不 可 比较 ,再 想 对 截 尾 J-S 估计 和 作 改 进 已 
很 困难 了 ,对 p 二 9 和 c= 二 2p 一 1 时 总 的 风险 函数 如 图 5.4 所 示 . 图 中 
的 水 平 线 是 5 于 )= 二 至 的 风险 函数 RL,5) 二 9， 


图 5,4 截 屁 ]-S 估计 与 均值 的 风险 函数 的 比较 
在 (5.24) 和 (5. 25} 的 基础 土 后 来 发 展 点 一 种 * 奈 粥 生计 ”得 到 不 少 
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应 用 . Cellier 等 人 (19893 还 把 Stein 结果 推广 到 球 对 称 分 布 场合 121. 在 
Christian (19947 的 书 111] 中 在 这 十 面 有 大 量 俐 述 , 并 上 府 有 容许 性 方面 
较 全 面 的 立 献 . 


$5. 3.3 单 参 数 指数 族 中 的 容许 性 问题 


在 31.6 中 给 出 单 参数 指数 族 的 密度 函数 的 标准 形式 
paltry) = BeT h(x) 
为 了 简化 ,我 们 把 其 中 的 AIGz)? 并 人 大 Lebesgue 测度 ,并 记 dg 一 ACX}dx 
这 样 -来 , 单 参数 指数 族 对 dy 的 密度 函数 为 


十 ry 
4 — Bem, TE 有 (5. 26) 


其 中 六 外 宇 0,a 可 取 一 中 8 可取 oo. 根据 定理 1, 14 ,充分 统计 量 了 (>) 
ELTCX)] 一 一 序 (的 ABC 2 gf) (5. 27) 
Kariin(1958) 在 平方 损失 函数 下 给 出 参数 g(02 的 容许 竺 计 的 一 种 形 
式 . 现 不 加 证 明 地 引述 如 下 ,其 它 分 布 族 中 的 容许 估计 也 有 不 少 结果 . 
成 平等 人 [1985)? 对 此 作 了 很 好 的 总 结 n094, 有 兴趣 的 读者 可 参阅 . 
定理 5.1 设 随 机 变量 义 服 从 指数 分 布 (5. 28). 且 


上 er dutr) < coo, OE Cab) {5, 28) 

车 命 # 达 co<Z5,. 和 殷 如 存在 这 样 的 AXA0, 使 得 
lim | 8- “(0 = c (5. 29) 
lim -code 一 oo (5. 30) 


那么 在 平方 搞 失 隔 数 下 ,高 (zx) 二 TL)/U1l 十 习 是 gt 四 的 容许 居 计 ， 
例 5.16 设 随 机 变量 了 服从 Gamma 分 布 Cra (a,1/9), 它 对 
Lebesgue 测度 dy 的 密度 函数 为 


p{ysOdy -esdy, Oy 人 LOL Lo 


1 Lr 
FT 
其 中 参数 420 山 知 ,68 未知, 要 在 平方 损失 下 寻求 8 的 容许 司 计 . 
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因为 Ec) 一 a8 ,我 们 取 了 (Cy) 一 y/oayrf 一 一 gj9 ,二 是 amma 分 布 
相对 于 dzty) 二 ydy/ tea)) 的 密度 函数 为 


plysr)dy = Prewdgty), Oy rid 
其 中 pz) 一 (一 D" 窑 易 验证 ,E:T(y) 二 一 记 (r)/8(7) 一 -于 二 9, 并 且 
[eidpey) < oo 
而 对 任意 0<<e<ce< cc ,有 
| Pitr)dr — 三 (一 r)y-wdr 一 [ da 


在 c 立 吕 或 a 了 oo 时 ,于 述 积分 分 别 满足 条 和 件 (5.29) 和 和 (5. 30), 只 要 取 4 
一 1/a. 根据 起 理 5. 1 ,在 平方 损失 函数 下 


TO _ ya 3 
4 十 1 1 二 la la 


是 8 的 容许 估计 , 

候 如 平方 损失 函 教 取 L(0,dD) 一 (一 0)2/p ,那么 >/(1 十 四 仍 是 8 
的 容许 估计 . 

硕 便 指出 ,从 上 述 讨 论 可 知 , 在 讨论 估计 的 容许 性 ,平方 损失 函数 
Zt 一 0)tq 一 9* 中 A 外 取 什 么 形式 与 估计 的 容许 性 无 美 . 

利用 上 述 结果 还 二 5 2 iz 是 汪 的 容许 估计 ， 
其 中 x，… 是 来 自 正 态 母体 NC0,0?) 的 一 个 样本 ， 

大 家 知道 ,统计 量 Y 一 了 ”x? 是 服从 Ga| 瑟 , 忆 5 , 它 对 Lebesgue 
测度 的 密度 函数 为 


四 (3522)Q3 = 


1 
(20°)3T (Cn/2) 
Oy LHL 


Ld pa 
le > dx, 


它 蚌 8 二 207,4 二 也 的 Gamma 分 布 ,于 是 y/ Qt 一? > ， 好 /Ca 十 


2) 是 8 一 25” 的 容许 估计 . 为 了 求 得 于 的 容许 信 计 .我 们 作 变 扩 = yi 
2. 于 是 & 的 分 布 对 dy 的 密谋 两 数 为 
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plusodu -ew di(2n), 


1 并 

Tra 
0 C00 

它 是 8 一 oi,a 二 2/2 的 Gamma 分 布 ,所 以 

] 记 ，， 

vy 

7 


x 2 i 1 3 > 


1 二 wa 1l+e 1 二 wa 天 十 
是 8 二 a? 的 容许 估计 .假如 损失 阔 数 取 
Lilnd) = (a 一 oY /or 


那么 Gr 十 2) -1 这 7_1x? 仍 是 到 的 容许 估计 ， 
$5.3.4 最小 最 大 估计 的 容许 性 


下 面 两 个 定理 表明 了 最 小 最 大 和 估计 与 容许 性 的 关系 ， 

定理 5.2 在 一 个 统计 决策 问题 中 ,假如 .Cx} 是 参数 8 的 崔 一 最 
小 最 大 估计 ; 则 Btx) 也 是 参数 8 的 容许 估计 . 

证 阴 : 峭 若 各 5Cz) 是 非 容许 的 , 则 应 存在 另 一 个 刁 计 六 (zx) 天 
Bfzsa .se ;使 得 

R06) 扫 民 (0 中 三 
而 对 基 些 6E 名 ,有 严格 不 等 式 成 立 . 因此 
su 及 291) < supRCO, G6) 

从 而 83.(x) 也 是 8 的 最 小 最 大 合计 ,这 与 如 是 唯 :的 最 小 最 大 估计 耶 
慎 , 收 此 种 gtz) 不 存在 ,证 毕 . 

从 证 明 过 程 可 以 看 出 ,定理 5.2 对 任 一 指定 的 决策 落 数 (估计 ) 类 
都 成 立 . 故 没 有 指出 具体 的 决策 函数 类 .下面 的 定理 也 是 这 样 ， 

定理 5.3 在 一 个 统计 决策 问题 中 ,假如 24z) 是 参数 有 的 容许 御 
计 , 生 在 参数 空间 日 上 有 常数 风险 , 则 sokz) 也 是 8 的 最 小 最 大 情 计 . 

证 明 : 储 车 名 CCz) 不 是 8 的 最 小 最 大 估计 , 则 存在 另 一 个 估计 
8,《z} ,使 得 

supR (06,0) < supRB,6o) = RIB) — Conest. 


从 而 有 
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ROB) < ROO BY YY OE 
这 表明 ,as 人 z) 是 非 容许 估计 ,这 一 矛盾 证 明 gokz)? 是 如 的 最 小 最 大 和 由 
计 . 证 毕 . 

例 5.17 设 随 机 变量 Y 服从 Gamma 和 分布 Caga:1791 ,其 中 em0 
已 知 ,8 未 知 .利用 定理 5,1, 曾 在 例 5.16 中 ,在 平方 损失 函数 工人 8, 
二 《6 一 上): 下 求 得 6 的 容许 合计 页? 一 ALT 其 风险 丽 数 为 


2 
RG,0) — 0 ye sody 


1 FH ¥ 
Te) ,I 


= Fe | Tl) 
这 个 风险 仍 惊 问 于 .假如 取 如 下 加 权 损 和 失 函 数 
LC0,0) = (6 — O°/ 
那么 的 风险 为 (1 十 a)-. 它 与 9 无 关 . 由 定理 5.3 知 ,06(y) 在 上 述 加 
权 损 具 肾 数 下 是 最 小 最 大 估计 . 
从 例 5. 16 和 这 个 俩 子 可 以 看 出 ,在 加 权 损 失 洱 数 L(0,6) 二 4(0) 
+* 《8 一 上 :下 求 让 8 的 某 个 人 千 计 的 容许 性 时 ,与 4( 引 的 形式 苇 关 ,但 在 
讨论 该 合计 是 否 是 最 小 最 大 和信 计时 ,与 At98) 的 形式 有 很 大 关系 . 只 在 
特殊 形式 下 ,才能 是 最 小 最 友人 居 计 . 


8S 5.4 Bayes 决策 礁 则 


2 


1+a 


"le-rdy = 


$5.4.1 先 验 分 布 


在 叙述 页 叶 斯 风险 准则 时 需要 先 验 分 布 的 概念 . 

设 有 -个 参数 统计 结 梅 (党 ,加 ,1ps :DE 和 B)) ,其中 分数 9 是 一 个 
未 知 量 . 为 了 对 参数 如 作 统计 推断 (或 统计 天 策 ), 我 们 党 要 从 总 体 抽取 
样本 ,并 且 靖 记 意 好 .因为 样本 含有 未 知 参 数 的 信息 ,站 且 是 "最 新 鲜 ” 
的 信息 .这 是 经 典 统计 推断 的 主要 依据 . 可 是 我 们 周围 还 存在 有 一 些 非 
样本 信息 . 它 也 可 以 用 于 统计 推断 和 统计 雇 策 .这 些 非 尽 本 信息 主要 来 
源 于 经 验 种 历史 资料 . 由 于 这 些 经 验 和 历史 资料 大 多 存在 于 (获得 样本 
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的 ?试验 之 前 , 故 又 称 为 先 验 信 息 . 

例 5.18 英国 统计 学 家 Savage.L.J. 曾 考虑 如 下 两 个 统计 试验 . 

a， -位 常 饮 牛奶 加 荣 的 妇女 声称 ,她 能 办 别 先 倒 进 杯 子 里 的 是 茶 
还 是 牛奶 . 对 此 做 了 十 次 试验 ,她 都 正确 地 说 出 六. 

b，-- 位 音乐 家 声称 ,他 能 从 一 页 乐谱 辨别 出 是 海顿 (Haydn) 还 十 
莫扎特 (Mozart) 抱 作 吊 .在 十 次 这 样 的 试验 中 ,由 部 辨别 正确 . 

在 这 两 个 统计 试验 中 ,假如 认为 被 坛 验 者 是 在 猜测 ,每 次 成 功 概 率 
为 0.5 ,那么 十 次 都 猜 中 的 概率 为 2 “二 0.000 976 6. 这 是 很 小 的 概 
率 , 是 不 可 能 发 生 的 ,所 以 认为 “每 次 成 功 概 率 为 0. 5” 的 原 假设 应 被 拒 
绝 , 被 试验 者 每 次 成 功 概率 要 比 0.5 大 得 多 . 这 就 不 是 玺 测 , 而 是 他 们 
的 经 验 帮 了 和 他们 的 忙 . 可见 经 验 ( 先 验 信 息 的 - :种 ?在 推断 中 不 可 忽视 ， 

例 5.19 “免检 产品 "是 怎样 决定 的 ? 某 工厂 的 产品 每 天 都 要 抽 ”= 
件 , 从 中 获得 不 合格 品 率 8 的 估计 . 经 过 一 段 时间 后 ,这 就 可 以 根据 历 
中 资 料 ( 先 验 信 息 的 一 种 ) 对 过 去 产品 的 不 合格 品 率 8 构造 一 个 分 布 

P=i/n) on f=0,1, un 
这 种 对 先 验 信息 进行 加 工效 得 的 分 布 今后 称 为 先 验 分 布 .有 了 这 种 先 
验 分 布 就 可 得 到 该 广 产品 的 不 合 糙 品 率 昌 的 一 个 全 面 看 法 , 如 果 这 个 
分 布 的 概率 绝 大 部 分 集中 在 6 一 0 附近, 那 该 产品 可 以 认为 是 “信得过 
产品 ” 假如 以 后 的 历次 抽检 结果 与 历史 资料 提供 的 先 验 分 布 是 一 臻 
的 , 那 就 可 以 对 它 作 出 “免检 产品 ”的 决定 ,或 者 竺 月 抽检 一 次 就 足够 
了 ,这 就 省 去 了 大 量 的 人 力 和 物力 . 

从 上 面 两 个 例子 可 以 看 出 ,我 们 应 注意 先 验 信 息 的 收集 ,挖掘 和 加 
工 ; 合 它 数量 化 ,形成 先 验 分 布 ,参加 到 统计 推断 中 来 ,以 提高 统计 推断 
的 质量 .忽视 先 验 信息 的 利用 ,有 时 是 一 种 浪费 ,有 时 还 会 导出 不 合理 
的 结论 . 在 统计 中 利用 先 验 信息 就 形成 Bayes 统计 . 

Bayes 统计 起 源 于 英国 学 者 贝 叶 斯 (Baves 工 ,及 .1702(27 一 1761) 
死 后 于 1763 年 发 表 的 一 箱 论 文 “ 论 有 关机 遇 问 题 的 求解 ”在 此 文中 提 
出 著名 的 Bayes 公式 和 一 种 归纳 推理 的 方法 . 之 后 被 一 些 统计 学 家 发 
展 成 一 种 系统 的 统计 推断 方法 . 到 本 世纪 30 千代 已 形成 Bayes 党派 ， 
到 50 一 60 年代 已 发 展 成 一 个 有 影响 的 统计 学 派 .其 影响 还 在 日 益 
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扩大 . 

Bayes 学 深 的 最 基本 的 观点 是 ; 任 一 末 知 量 86 都 可 看 作 随 机 变量 ， 
可 用 一 个 概率 分 布 去 描述 ,这 个 分 布 称 为 先 验 分 布 . 因为 任 一 未 知 量 都 
有 不 确定 性 , 而 在 表述 不 确定 性 时 ,概率 与 概率 分 布 是 最 好 的 语言 . 例 
5.19 中 产品 的 不 合格 品 率 8 是 未 知 的 ,但 每 天 都 在 变化 ,把 它 看 作 随 
机 变量 是 合理 的 ,用 一 个 概率 分 布 去 描述 它 是 很 愉 当 的 . 

关于 未 知 晶 是 否 可 看 必 随 机 变量 在 经 典 学 戎 与 Bayes 学 蔬 间 争论 
了 很 长 时 间 . 如 今 经 典 学 派 已 不 反对 这 一 观点 . 著名 的 美国 经 典 统 计 学 
家 Lehmann. E.L 在 他 的 ¢ 点 生计 理论 》 一 书 中 写 道 :“ 把 统计 间 题 中 的 
参数 看 作 随 机 变量 的 实现 要 比 看 作 未 知 参 数 更 合理 些 . "如 今 两 派 的 争 
论 焦 点 是 :如 何 利 用 各 种 先 验 信息 合理 地 确定 先 验 分 布 ,这 在 有 些 场 全 
是 容易 解决 的 ,但 在 很 多 场合 还 是 相当 困难 的 . 这 时 应 加 强 研究 , 切 不 
可 简单 处 理 . 草率 地 定 下 先 验 分 布 . 要 知道 ,这 是 为 指责 Bayes 方法 提 
供 炮 弹 . 

关于 先 验 分 布 的 确定 至 今 已 有 -.- 些 成 功 的 方法 ,Berger 的 书 -的 
第 三 章 对 此 作 了 较为 全 面 的 叙述 . 本 章 内 容 将 要 讲述 其 中 的 一 些 方法 ， 
这 里 我 们 先 介 绍 用 主观 概率 确定 离散 先 验 分 布 方法 . 

Bayes 学 深 认 为 一 个 事件 的 概率 可 以 是 人 们 根据 经 验 对 该 事件 发 
生 可 能 性 所 给 出 的 个 人 信念 , 这 样 给 出 的 概率 常 称 为 七 疯 概率 . 艾 如 : 

一 个 企业 家 认为 "一 项 新 产品 在 未 来 市 场 上 幅 销 的 "概率 是 0. 8， 
这 里 的 0.8 尾 根 据 他 自己 多 年 经 验 和 当时 的 一 些 市 场 信息 综合 而 上 成 的 
个 人 信念 . 

一 位 蚁 外 科 医 生 要 对 一 位 病人 动手 术 , 他 认为 成 功 的 概率 是 0. 9， 
这 是 他 根据 手术 的 难 易 程 度 和 自已 的 手术 经 验 而 对 “手术 成 功 ” 所 给 出 
的 把 握 程度 . 

一 位 教师 认为 甲 学 生 考取 大 学 的 概率 是 0.95, 而 和 学 生 考取 大 学 
的 概率 是 0.5, 这 是 教师 根据 自己 多 年 的 教学 经 验 和 下 . 乙 两 位 学 生 的 
学 习 情 况 而 分 别 给 出 的 个 人 信念 . 

这 样 的 例子 在 我 们 生活 ,生产 和 和 经济 活动 中 也 是 常 遇 到 的 . 他 们 给 
出 的 主观 概 闪 决 不 是 随意 的 ,而 是 要 求 当 事 人 对 所 考察 的 事件 有 和 较 透 
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彻 的 了 解 和 让 窗 的 经 验 , 甚 至 是 这 一 行 的 专家 ,上 省 能 对 周围 迟 息 和 历史 
信息 进行 仔细 分 析 ,在 这 个 基础 上 确定 的 主观 概率 就 能 符合 实际 .所 以 
应 把 主观 概率 与 主观 上 腾 造 ; 睛 说 -- 通 区 别 开 来 . 

自主 观 概 率 提出 以 来 ,使 用 的 人 愈 来 愈 多 ,特别 在 经 济 额 域 和 决策 
分 析 中 使 用 较为 广泛 . 因为 在 那里 过 到 的 随机 现象 大 多 是 不 能 重复 的 . 
无 法 用 频率 方法 去 确定 事件 概率 .在 这 个 意义 上 看 ,主观 概率 至 少 使 人 
们 在 频率 方法 不 适用 时 也 可 谈论 概率 ,使 用 统计 方法 ， 

下 面 通过 一 些 例子 来 说 明确 定 主观 概率 的 方法 . 

例 5.20 一 位 出 版 商 要 知道 一 本 新 书 能 畅销 (事件 A) 的 概率 是 
多 少 , 以 便 决 定 是 否 与 作者 签订 出 版 合同 . 他 在 了 解 这 本 新 书 的 内 容 
后 ,根据 他 自己 多 年 出 书 的 经 验 认为 ;该 书 畅 销 的 可 能 性 较 大 ,畅销 
《4) 比 不 畅销 (4)? 的 可 能 性 要 高 出 一 情 , 即 P(A) 一 2P(A). 由 此 根据 
概率 性 质 PcA) 一 P(A)==1 可 以 推 得 PA 二 2/3, 即 该 书 畅 销 的 主观 
概率 是 273. 

这 种 用 对 立 事 件 的 比较 来 确定 主观 概率 是 最 简单 方法 . 要 如 对 4 
与 所 说 不 出 哪 一 个 发 生 的 可 能 性 较 大 , 那 就 定 户 (4) 一 172. 这 个 方法 
可 以 推广 到 多 个 事件 上 .这 种 方法 昌 不 严格 ,但 符合 人 们 在 实际 中 看 符 
概率 的 直观 方式 . 

例 5 21 有 -项 带 有 风险 的 生意 ,和 欲 估 计 成 功 ( 记 为 4) 的 概率 . 
为 此 决策 者 去 拜访 这 方面 的 专家 {如 董事 长 ,银行 家 等 ), 向 专家 提 这 样 
的 问题 : “如果 这 种 生意 做 100 次 ,你 认为 能 成 功 才 次 ?” 专 家 回答 ;“ 成 
功 次 数 不 会 术 密 ,大 约 60 次 . ”这 时 PCA) 一 0.6 是 专家 的 主观 概率 ,可 
此 专家 还 不 是 决策 者 . 决策 者 很 熟悉 这 位 专家 ,认为 他 的 咎 计 往往 是 储 
保守 的 ,过 分 说 镇 的 . 诀 策 者 决定 修改 专家 的 估计 ,把 0.6 提 高 到 0, 7. 
这 样 PC4) 一 0.7 就 是 决策 者 的 主观 概率 . 

这 种 用 专家 意见 来 确定 主观 概率 的 方法 第 常用 的 . 当 决 策 者 对 基 
事件 了 解 甚 少时 ,就 可 去 征求 专家 意见 . 这 里 要 注意 两 点 . 一 是 向 专家 
提出 的 问题 要 设计 好 , 既 要 使 专家 易 民 ,又 要 使 专家 回答 不 是 横 楼 两 
可 ;一 是 要 对 专家 本 人 较为 了 解 ,以 便 作 出 修 止 ,形成 快 策 者 自己 的 主 
观 概率 . 
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例 5.22 某 公 司 经 营 儿 童 玩 具 才 年 , 今 设计 了 -- 和 神 新式 玩 其 将 投 
人 市 场 . 现 要 估计 此 新 式 玩 具 在 未 来 市 场 上 的 销售 状 疯 . 经 理 查阅 了 本 
公司 过 去 37 种 新 式 葡 具 的 销售 记录 ,得 知 销 售 状 念 是 畅销 (名 )， 一 般 
(83. 汪 销 (2 分别 有 29,6,2 种 ,于 是 算得 过 去 新 式 玉 有 具 的 三 神 销售 状 


态 的 福 率 分 别 为 
29 _ 6 2 0.05 
了 二 0.784, 37 = 0. 182,， 37 = 避 , D5 和 4 


考虑 到 这 次 设计 的 新 玩具 不 仅 外 形 新 里 ,而 且 在 开发 儿童 智力 上 有 显 
著 突 破 , 经 埋 认 为 此 种 新 玩具 会 更 畅销 一 些 , 融 销 可 能 性 更 小 , 鼓 对 上 
述 概 率 作 了 修改 ,提出 自己 的 主观 概率 如 下 、 
PO) = 0.85, P(A) = 0.14, PCB) = 0.01 

这 个 例子 表明 ,假如 有 历史 数据 ,要 尽量 利用 ,帮助 形成 初步 概念 ， 
然后 作 一 些 对 比 , 夏 正 : 再 形成 个 人 人 信念, 这 对 给 出 上 上 观 概 率 大 有 好 处 . 

依据 经 验 和 历时 资料 等 先 验 信息 给 出 的 主观 概率 没有 什么 园 定 的 
模式 ,但 所 确定 的 主观 概率 都 必须 满足 概率 的 三 条 公理 ,发 现 与 三 条 公 
理 及 其 福 盾 有 不 和 谐 之 处 ,必须 立即 磅 正 ; 直 到 和 谐 为 止 . 这 时 给 出 的 
主观 概率 才能 称 得 上 概率 . 


3 5. 4.2 Baves 风险 准则 


这 里 和 以 后 ,除非 特别 声明 ,我 们 总 拒 讨 论 限制 在 非 随 机 化 决策 孙 
数 类 多 中 . 
定 5.9 在 给 定 的 统计 决策 问题 中 , 设 RC6,5C47)) 为 决策 函数 
CT) 的 风险 函数 ,z(t9) 为 8 的 先 验 分 布 ; 则 平均 风 葡 
| | RG, 0)r(9) do, 9 为 连续 
RF) = . 


> R(B,B)r(B》， 日 为 离散 


《5. 31) 


称 为 3(z}) 的 Bayes 风险 . 假如 在 决策 函数 类 有 中 存在 这 样 的 决策 函 
数 全 (xz ,使 得 
及 全 ) 一 inf RB) (5. 327 


则 称 3* Cx) 为 决策 函数 类 红 在 Bayes 风险 准则 下 的 景 优 决策 函数 , 简 
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称 Bayes 决策 函数 或 Bayes 解 . 在 合计 癌 题 中 , 它 就 称 为 Bayes 估计 . 

夺 上 述 定义 可 见 ,Bayes 风险 是 一 个 实数 , 它 是 按 先 验 分 布 算出 的 
平均 风险 ,2 中 等 个 决策 函数 B4zy? 都 有 一 个 半 均 风险 ,Bayes 风险 准 
则 就 是 用 平均 风险 来 评价 其 优 步 . 平均 风险 傅 小 人 请 好 ,多 中 具有 最 小 
平均 风险 的 决策 激 数 便 是 Bayes 风险 决策 函数 . 亚 然 ,上 述评 价 是 对 男 
定 的 先 验 分 布 rt2) 而 言 的 . 当先 驻 分 布 改 变 时 ,Bayes 决策 函 数 也 会 改 
变 的 . 

例 5.23 对 例 5.3 的 二 行动 线性 决策 问题 在 例 5.8 中 分 别 给 出 8 
个 决策 函数 的 风险 函数 .根据 该 厂 的 近 一 年 的 历史 资料 整理 ,该 厂 不 合 
格 品 率 8 不 会 超过 0.12, 而 位 于 区 间 (0.04,9.08) 内 占 80 名 ,而 低 于 
0,04 或 高 于 0.08 的 各 占 10 多 ,这 样 一 来 我 们 就 得 到 如 图 5,5 所 示 的 
先 验 分 布 起 全 ， 


2 5， O00.0d 
20,0, 站 .总 下 雪人 8 

x(#) 一 4 . 
2.5， 0.08 < 0 0.12 
0， 其 它 


a 0. 04 0. 08 0-.12 


图 5.5 不 合 桂 品 率 8 的 先 验 分 布 
利用 这 个 先 验 分 布 我 们 可 在 这 8 个 决策 函数 中 寻找 Bayes 决策 函 
数 . 为 此 我 们 要 利用 例 5. 8 中 给 出 8 个 风险 函数 的 表达 式 , 亚 一 计算 它 
们 对 此 先 验 分 布 的 平均 风险 . 警 如 ,Cx) 和 8stx) 的 平均 风险 分 别 为 
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多 

R.C6 = [ (78.4 — 12500) C0) dg 一 11.7925 
La . 

R,(0,) 一 | C78, 4 一 12508 — 78. 4 十 1250F)x(0Yde 
站 


D0. 12 
十 | [一 ?8.4 十 125003)7f8)qdB 一 11. 8467 
名 


其 中 名 二 0. 062 72 ,类似 地 可 计算 另外 6 个 平均 风险 ,可 得 
RB) = 12. 4092， 五-(G) 一 12.4634 
RBs)= 7.7215, Ri(66) 一 7.7758 
R.(8,)— 8.3382, R84) = 8. 3925 
比较 这 8 个 平均 风险 ,可 以 看 出 刘 (x) 的 平均 风险 最 小 , 故 在 统计 
决策 问题 中 Cx) 是 在 此 先 验 分 布下 8 的 Bayes 决策 医 数 . 


§ 5.4.3 Bayes 公式 


Bayes 公式 的 离散 形式 已 为 大 家 熟知 ,这 里 用 密度 函数 再 一 次 角 
述 Bayes 公式 ,从 中 介绍 Bayes 学 派 的 一 些 观点 . 

1. 依赖 十 参数 8 的 密度 函数 在 经 典 统 计 中 记 为 pCx; 四 或 polx). 
它 表 示 如 中 不 同 的 8 对 应 不 同 的 分 布 . Bayes 学 派 认 为 该 密度 丽 数 是 
在 随机 变量 8 给 定 基 个 值 时 ,无 的 条 忻 密度 函数 , 故 应 记 为 p(x1 站 )， 

2. 根据 参数 9 的 先 验 信 息 确定 先 验 分 布 x(8). 

3. 从 Bayes 观点 看 ,样本 四 一 CX ,… ,XX,) 的 产 牛 要 分 两 步 进行 . 
首先 设想 从 先 验 分 布 x(9) 产 生 一 个 观察 秆 8, 然后 往 从 条 件 分 布 
三 | 的 产生 样本 观察 值 x 二 Cx，… ,zx,). 这 时 样本 直 的 联合 条 件 密 度 
函数 为 


ptrl0) = [pert) 


这 个 联合 分 布 综合 了 样本 信息 ,又 称 为 似 然 西数 . 
4. 由 于 ! 是 设想 出 来 的 ,仍然 是 未 知 的 , 欲 要 把 先 验 信息 与 样本 
入 息 综 合 , 不 能 仅 用 设想 值 ,而 应 用 x(0). 这 样 一 来 ,样本 六 与 参数 日 
的 联合 分 布 
hr = prIODACO) C5. 33) 
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把 先 验 信 息 与 样本 信息 都 综合 到 一 起 了 ， 
5. 我 们 的 任务 是 要 对 未 知 参 数 8 作出 统计 决策 ,为 此 把 联合 分 布 
进行 如 下 分 解 
hc0D 一 rx | rmx) 
其 中 mr(z) 是 工 的 边际 密度 销 数 


mz) 一 | az = | ac Or(2)db (5. 34) 


它 与 98 无关, 或 者 说 m(x) 不 含 8 的 性 何 先 验 信 息 . 关 此 能 用 来 对 8 作 
出 统计 决策 的 仅 是 条 忻 分 布 zt8|z). 它 的 计算 公式 是 

ROT) zlg)xco) 
mr) | aeleyrde)d8 


这 就 是 Bayes 公式 的 密度 郴 数 形式 . 这 个 在 样本 给 定 下 8 的 条 件 分 布 
称 为 8 的 后 验 分 布 . 它 是 在 样本 给 定 下 集中 了 样本 与 先 验 中 有 关 8 的 
一 切 信息 . 它 要 比 先 验 分 布 xt9) 更 接近 于 实际 情况 . 因此 使 用 后 验 分 
布 rtlzr) 对 0 作 统 计 决 策 会 得 到 改进 

《35, 35) 式 是 在 二 和 8 都 是 连续 随机 变量 场合 下 的 Bayes 公式 . 其 
它 场合 下 的 Bayes 公式 亦 可 类 似 写 出 . 警 如 , 当 外 是 离散 随机 变量 时 ， 
上 只 要 把 55. 35) 中 的 密度 函数 plzx| 四 改 为 慨 率 P(X 一 z+| 闪 即 可 .而 当 # 
是 离散 随机 变量 时 ,只 要 把 (5.35) 中 的 密度 灌 数 r(8) 改 为 分 布 列 
工 ( 人 一 1,2 积分 导 改 为 求 和 号 即 可 . 

6. 回忆 上 述 过 程 ,不 难看 出 , 当 从 总 体 获 得 样本 X 后 ,Bayes 公式 
把 大 们 对 吕 的 认识 由 天 他) 调 正 到 rd 如 lz)? 这 个 调整 过 程 可 形象 地 表示 
为 


rf| rx) = 


(5.35) 


先 验 信息 中 样本 信息 全 后 验 信息 
TO DPrTIOD rr) 
其 中 符号 “中 "应 理解 为 Bayes 公式 的 作用 ,下面 的 例子 可 以 更 具 
体 地 说 明 这 个 过 程 . 
例 5.24 设 事件 4 出 现 的 概率 为 86, 即 PA) 一 8, 为 了 情 计 8 而 
敌 了 4 坎 独立 观察 ,其 中 事件 4 出 现 次 数 民 服从 二 项 分 布 6， 即 
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P(X = 74| 一 站 ea -Orrrz， 交 0 1 
这 就 是 似 然 明 数 . 假如 在 试验 之 前 我 们 对 事件 4 没有 什么 了 解 , 从 而 
对 其 发 生 的 概率 4 也 说 不 出 是 大 是 小 , 在 这 种 场 介 .Tiaycs 建议 用 区 间 
t0,1) 上 的 均匀 分 布 志 (0,1) 作 为 区 的 先 验 分 布 . 因为 它 在 (0,1)} 上 每 一 
点 上 都 机 会 均等 . Bayes 的 这 个 建议 被 后 人 人 称 为 Bayes 假设 - 这 时 5 的 
先 验 分 布 泡 (的 一 DC01). 为 了 综合 试验 信息 和 先 验 信息 ,可 以 利用 
Bayes 公民 , 为 此 先 计 算 样 本 天 与 参数 避 的 联合 分 布 


ht) 一 (a 0 r=0lnd Ol 
人 


共 形 式 上 看 上 述 联合 分 布 与 二 项 分 布 没有 差别 ,可 在 定义 城 上 有 差别 ， 
再 计算 样本 逐 的 边际 分 布 


1 玉 1 
m(z)— | h(x,0)d0 一 | [ga — 0) vag 
rr - 


i 


ECr 十 IPPC 一 工 十 1) 


zx| Den + 2) 
由 此 得 8 的 后 验 分 布 
Rt) Ln 十 2) _ 
天 liz7》 = mer) Tt 十 1ECGn 一斑 十 1 
B+1 ‘101 Om + Dl, n < 日 < 1 


这 就 是 参数 为 x 十 1 和 x 一 x 十 ] 的 Beta 分 布 Be(Cz 1 一 你 十 17。 
进一步 研究 这 个 例子 . 考察 样本 信息 z+ 是 如 何 对 先 蛤 分 布 作 调整 
的 . 试验 前 :8 在 C0,1) 上 均 名 分布: 见 图 5.6 左 柚 >. 当 斌 验 结果 六 二 zz 
时 ,#8 的 后 验 分 布 x(81x) 明 仍 在 C0,1) 上 取 值 ,但 已 不 是 均匀 分 布 ,而 是 
一 个 单 峰 分 布 , 其 峰 的 位 置 是 随 着 x 的 增 太 而 逐渐 问 布 科 ( 见 图 5.6 的 
右 出 .不 论 哪 种 情况 发 生 , 其 峰 灶 总 在 rm 处 达到 . 辟 如 在 天 = 二 0 时 ， 
它 表 示 在 ”次 试验 中 事件 4 一 次 也 没 出 现 , 这 表明 事件 4 发生 的 概率 
很 小 . 当 它 与 均 色 分 布 结合 后 所 得 后 验 分 布 反 有 映 了 这 个 信息 ,0 在 04 附 
近 取 时 的 可 能 性 很 大 ,在 1 附近 取 值 的 可 能 性 很 小 ,类 似 地 ,在 多 二 xn 
时 ,所 得 的 后 验 分 布 在 1 附近 取 值 的 可 能 性 很 大 ,市 在 2 附近 取 值 的 可 
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能 性 小 , 当 <n2 时 ,Ar<172, 后 验 分 布 的 峰 偏 左 : 当 工 >#A2 时 ,后 
验 分 布 的 蜂 仿 右 : 当 = 一 2a720n 为 偶数 ), 后 验 分 布 对 称 , 其 峰 在 1/2 处 . 


#1) 


xT" 


0 1 在 


A) 0 ri 1 # 
1 二 /2 
| 
" ! 0 Ll 1 3 
Iin 1 #8 
ACBI A} = 
《ma 十 1 全 
0 1 前 
图 5-6 试验 信息 对 先 验 分 布 的 调整 
7. 最 后 指出 Hayes 公式 的 一 个 性 质 ， 


* 350. 第 五 章 ”统计 决策 理论 与 Bayes 分 析 


定理 5.4 设 有 一 个 可 控 参 数 结构 (他 ,中 , {ps : 8E8)),4 是 其 
控制 测度 . 又 设 了 一 了 (rzr) 是 (有 2 , 客 ) 到 (了 , 客 ) 上 的 …… 个 充分 统计 量 . 
zt 人 是 了 关于 诱导 测 庆 jr 的 密度 函数 . 则 由 p (19) 导 出 的 后 验 分 
布 亚 (lt 与 用 样本 密度 函数 户 (z12) 导 出 的 后 验 分 布 rt8|z) 是 几乎 处 
处 相等 , 即 

mat) = rf x) a.s. Lad {5, 36) 
证 明 : 由 因子 分 解 定理 知 ,存在 一 个 非 负 镶 可 测 吧 数 h(x) 和 一 
个 非 负 容 可 测 函 数 EC 有， 使 得 
pT) = gro ACr) a. 5. [gl 
因此 在 给 定 x 下 ,# 的 后 验 密度 为 
gr) [的 页 ( 
ET) [Ox cH) ydo) 


其 中 vd 引 是 x( 四 的 控制 测度 . 另外 ,对 任意 <E 客 ,用 了 的 密度 函数 和 
长 的 寄 订 函数 可 分 别 算得 


PFCC) 一 | releyecdp 


X(T = 


PTI= | 
i 
由 于 PCC) 二 Pg[T-1(C)1, 表 对 任意 的 己 志 儿 ,有 
| pal dn = | 
由 此 可 短 .prkt19) 是 pCz1 引 在 条 件 卫 =: 下 的 条 件 期 望 , 即 
pOl0)= EpCrtt) IT =1] 
= E[gt lh) IT = 1] 
= g(tINDELACOYIT = 
一 GO a.s. [ur] 
其 中 J 了 G2) 二 ELhCz) | 卫 二 tJ] 是 非 负 歼 数 .于 是 在 T--: 下 ,8 的 后 验 密 度 
函数 为 


pir (dry 
Cy 


plxl dr) 
Cy 


pIO) nd) 


nT (8|t) = _ 
| pe (OAC vd0) 


§ 5.,4 Bayes 决策 准则 + 351 。 


区 (的 me 
jc 19)mg6)vCdB) 


a.s. Le 


比较 上 述 二 个 后 验 密度 ,可 得 (5.36). 证 毕 . 

这 个 定理 表明 :在 有 充分 统计 量 的 场合 ,后 验 分 布 可 通过 充分 统计 
量 的 分 布 求 得 . 

例 5.25 设 筷 一 (XXX 是 来 自 正 态 总 性 和 NC(E,q?) 的 一 个 样 
本 ,样本 的 联合 密度 函数 为 


prle.0) = (2n) to "exp{— sb (Cx, —— 6 


= (27) So vexp | 和 par CT 二 7 


其 中 工 二 二 >” moQ= 3)" (zi 一 坟 : 是 正 态 分 布 族 的 充分 统计 量 
的 取 值 . 
下 ,6 一 (fo 的 后 验 密 度 为 


og—"x(é ,aexp| 这 5 (元 EE | 
XETI TY 一 一 二 二 可 
en a me ea 


另 一 方面 ,在 还 窟 分 布 族 中 , 苹 与 @ 是 两 个 相互 独立 的 统计 量 ; 且 芒 ~ 
CEA RQ/o 一 庆 (n 一 1), 所 以 充分 统计 量 了 = 和 QQ) 的 联合 密度 
函数 为 
pilrAQ|t,0 = pl(E|Eo pOQ Io) 
一 ho rexp| 一 pe 一 此 3 (oo "exp{— 让 | 
其 中 是 与 $$,o 无关 的 常量 . 在 给 定 了 一 ( ,名 ?的 条 件 下 ,此 密度 
函数 与 先 验 寓 度 rtEc) 结 合 而 产生 的 后 验 密度 为 


p(T QF rE ,0) 


nt, oI,Q) 一 
| pr,0 上 ,ayrtez)dedc 
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1 
ooexp — 一 ped | 
| | [ence erp | 区 2 0 Juejat 


比较 这 两 个 后 验 密度 ,可 得 
a 《可 | 元 ,名 ) = rt,0|z) 


§ 5.4.4 共 固 先 验 分 布 


大 家 知道 ,在 区 间 C(0,1) 上 均 名 分布 是 Beta 分 布 Be(1,1), 这 样 从 
例 5.24 中 可 以 看 到 一 个 有 趣 的 现象 .二 项 分 布 Ba 的 中 的 成 功 概 率 史 
的 先 验 分 布 若 取 Bet1,1), 则 其 后 验 分 布 也 是 Beta 分 布 Be(z 十 1 一 
工 一 1). 先 验 分 布 与 后 验 分 布 同 属于 一 个 Beta 分 布 族 ,只 不 过 参数 不 同 
婴 了 . 这--- 赴 象 不 是 偶然 的 ,假如 把 8 的 先 验 分 布 换 成 .- 般 的 Beta 分 
布 Beka,5) .其 中 am>0,5>0. 则 经 过 类 似 计算 可 以 看 出 如 的 后 验 分 布 
仍然 是 Beta 分 布 Beta 十 x;5 十 n 一 z+), 此 种 先 验 分 布 称 为 8 的 共 恩 先 
验 分 布 . 在 其 它 场合 还 会 遇 到 其 它 共 十 先 验 分 布 , 它 的 一 般 定 义 如 下 ，; 

定义 5.10 设 亿 =={pCzr| 拉 :8€9} 是 以 86 为 佑 数 的 密度 函数 
族 , 又 设 2 一 {x546)) 是 8 的 先 验 分 布 族 , 假如 对 任意 的 户 E .到 和 GE 
,所 得 的 后 验 分 布 x(817) 仍 在 族 呈 中 , 则 称 2 为 他 的 共 思 分 布 
族 , 或 者 称 x( 外 为 参数 的 共 示 先 验 分 布 . 

从 这 个 定 放 可 以 看 出 , 共 罗 先 验 分 布 是 对 某 一 分 布 中 的 参数 而 言 
的 .离开 指定 参数 及 其 所 在 的 分 布 , 谈 论 共 斩 先 验 分 布 是 没有 意义 的 ， 
常用 的 共和 罗 先 验 分 布 列 于 表 5. 4 中、 


表 5.4 常用 的 共 蜀 先 验 分 布 


总 体 分 布 参数 共 示 先 验 分 布 
一 项 分 布 | “成功 概率 一 Bera 分 布 
Poisson 分 布 均值 Camma 分 布 
指数 分 布 均 慎 倒数 ammsa 分 布 
正 态 分 布 (方差 已 知 ) 均值 正 访 分 布 
正 态 公布 ! 均 值 已 知 ) 方 善 | 全 Gamma 分 布 
注 : 苦 一 Gate 人: 则 详 的 分 布 称 为 例 Garmtina 分 布 
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例 5.26 卜 态 均值 (方差 已 知 ) 的 共 轿 先 验 分 布 是 正太 分 布 . 设 
民 ,XXX 是 来 自 正 态 分 布 No) 的 一 个 禅 本 . 其 中 吧 已 知 , 此 
样本 的 联合 风度 画 数 为 
plx|0)= [二 2 2 Cr 一 0， 


一 oo Tl on 《5, 37) 
现 取 另 - 正 态 分 布 Ntps 丰 ) 作 为 正 访 均值 8 的 先 验 分 布 , 即 


wl 1 :| 

exp | IO £2) | 
一 oo < x 5. 381 

其 中 产 与 到 为 已 知 . 由 此 可 每 出 样本 z 与 参数 8 的 联合 密度 函数 


0 -2npbr Dr 
Ac 一 Ke 一 去 nT 十 2 "20+ | 


1 
XO} 一 一 
Am 号 下 


站 


人 2 


其 中 天 一 (3m tr = 5 zifn, 着 再 记 


于 一 - ££ ~ 一 :一 1 2- 
二 友人 五 一 十 三 北 志 十 把 
则 有 
itr Kiexp| 3 [A 20B | Con 
_- 人 8 -再 /4 1,,, 
出 此 容易 算得 样本 的 边际 分 布 
1 
3 


mx) 一 | a(x,0)d9 = Kiexp | — 二 (一 /4)|[ 符 | 

上 商 式 相 队 ,有 凤 得 的 后 验 分 布 
区 (21 一 | 守 | exp 
这 是 正 态 分 布 , 其 均 利 着 与 方 关 01 分别 为 


B To 二 ur? , , 
所 有 一 rs ， 一 i (C5. 40) 


全 (0 BiAY | 《5. 39) 
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医 如 , 数 革 一 和 NC(9,22),.86~N(10,3), 车 从 总 体 芝 中 抽 得 5 个 样本 , 算 
得 王 =12.1. 于 是 可 愉 (5.40) 式 算得 ju 一 11.93,9 一 (6/7)’. 这 时 8 的 
后 验 分 布 为 正 态 分 布 N| 11. 93,| 里] ] . 由 此 可 见 . 正 态 均值 (方差 
知 ) 的 共 轿 先 验 分 布 是 正 态 分 布 . 

男 计 ,从 (5.40) 式 中 可 以 看 出 ,后 验 艾 值 上 是 先 验 均值 上 和 样本 
均值 了 的 加 权 之 和 , 即 

A 二 Ap 十 (1 -A 至 

其 中 权 4=r :Co 二 rr *). 且 先 验方 差 丰 人 盖 小 , 先 验 均值 在 后 验 均值 
中 占 的 比重 人 鳄 太 . 另 一 方面, 当 样本 量 n 愈 大 时 ,03 一 on 人 盖 小 ,从 而 样 
本 均 秆 去 在 后 验 均值 中 占 的 比重 也 盖 大 ,特别 当 n 无 限 增 大 时 , 先 验 坞 
值 在 后 验 均值 中 已 是 微不足道 . 这 种 现象 (从 参数 的 变化 看 先 验 和 样本 
的 作用 ) 常 在 使 用 共 思 先 验 分 布 中 见 到 . 

从 上 述 人 重子 的 计算 中 还 可 看 到 一 个 有 趣 的 现象 . 正 态 分 布 之 所 以 
能 成 为 正 态 均 值 8 的 共 示 先 验 分 布 ,关键 在 于 样本 分 布 (5. 37) 与 先 验 
分 布 55, 38) 的 密度 函数 都 是 85 的 指数 阴 数 ,并 且 措 数 上 又 都 是 8 的 二 
次 函数 , 故 它 们 相 梯 ,指数 相 加 后 , 仍 是 辣 类 型 的 指数 函数 ,这 就 导致 共 
辆 性 .在 统计 学 中 常 称 此 措 数 函数 为 正 态 分 布 的 惊 . 譬如, 若 天 一 
Cn 其 核 为 exp 一 (一 总 27203 .这 时 正 态 分 布 的 密度 是 数 户 (z) 
可 表示 为 

px) oe EXKD1 一 【全 一 天)A28 oo 

其 中 符号 “cc ”表示 “正比 于 "之 意 , 即 符号 cc 两 侧 只 相差 -- 个 订 依 赖 于 
工 的 因子 . 利用 分 布 的 正则 性 ,不 难 恢 复 这 个 因子 . 辟 如 , 若 p(x)ocexp 
{一 《XY 一 5》), 可 以 看 出 及 一 N(5,1/2), 于 基 可 写 出 其 密度 函数 p(x) 二 


1 exp{— Cx— 5):}, 


分 布 的 核 不 仅 正 态 分 布 有 ,其 它 分 布 也 有 .常用 分 布 的 核 有 如 下 几 
种 : 

(1) 一 项 分 布 ta 人 的 核 是 证人 一 如 

(2》Poisson 分 布 PC 的 核 是 Me 一 
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(3) Beta 分 布 Bekare) 的 核 是 1 一 工 ” 

(4) Gamma 分 布 Gata, 匀 的 校 是 x le “. 

[5) 正 态 分 布 Nig) 的 核 是 expi 一 (x 一 2 20} 

熟悉 分 布 的 核 可 以 简化 后 验 分 布 的 计算 . 后 验 分 布 x(8|z) 的 核 一 
定 是 8 的 某 个 函数 ,上 故 用 来 计算 zt8|x) 的 Bayes 公式 的 分 母 mx) 是 
与 召 无 关 的 因 于 ,可 以 略 去 ,从 而 有 

no|r) ce ptr Oro) 《5. 41》 

和 假如 再 用 plz| 站 与 (89) 的 核 代入 ,上 式 还 可 以 简化 , 璧 如 在 例 5.26 中 
用 ptr 信和 有 (人 的 核 去 我 蔡 它们 自己 , 财 有 


x(8|z)cc = - 让 2 一 0 8 se]} 


2 T 


CC exp {~ [A 一 286] | 


oc exp{— $0 一 B/ay’) 


其 中 4 与 召 如 前 所 述 , 由 此 可 立 那 可 看 出 此 后 验 分 布 定 为 正 态 分 布 
MB874:174), 这 就 简化 了 村 求 后 验 分 布 的 计算 过 程 . 

例 5.27 一 项 分 布 中 成 功 概 率 如 的 共 斩 先 验 分 布 是 Beta 分 布 . 设 
总 体 半 ~B(n, 昌 ,其 核 为 六 (一 各 "”", 著 取 Beta 分 布 Bela;5) ,作为 8 
的 先 验 分 布 ,其 核 为 所 "(1 一 丰 "”! ,从 而 可 得 8 的 后 验 分 布 的 核 为 

TO 7 ec 六 一 有 
这 就 是 Beta 分 布 Be(a 十 xz;5 十 n 一 x) 的 核 . 故此 后 验 分 布 为 


Fa 十 六 十 基 ) 
Tea TD n or) 


xo | x) 一 | 的 和 "一 < 一 1， 


0<< < T(5. 42) 
可 见 ,Beta 分 布 是 或 功 概率 4 的 共 红 先 验 分 布 ， 
巡 外 ,从 Beta 分 布 的 均值 可 以 看 出 后 验 分 布 在 (5. 42) 的 均值 亦 可 
表示 为 先 验 均 值 下 (站 二 ay/ ta 十 相 和 样本 均值 区 一 zn 的 加 权 和 , 即 
中 十 江 从 入 十 在 x Ea 


HFFA ibaisratn dd 十 囊 十 碎 
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其 中 , 权 4 二 -4 当 祥 本 量 ”无 限 增 大 时 , 先 验 均值 在 后 验 均值 中 


已 是 徽 不 足 道 . 

共 固 先 痊 分 布 在 很 多 场合 被 采用 . 其 主要 原 二 是 计 算 极 为 简单 ,一 
般 于 需 直 接 计 算 边 际 分 布 mx) ,而 后 验 分 布 x(8,x) 可 从 其 8 的 因 式 
{ 核 ) 得 到 . 在 其 它 场 全 ,mCz) 与 x(0|zx) 的 计算 都 会 于 到 困难 . 警 如 当 
玉 一 C8, 呈 ) 和 如 服从 Cauchy 分布 时 , 则 其 后 验 分 布 xt8|xz) 只 能 作 数 
慎 计 算 , 全 基 我 们 在 选用 甘 圈 先 验 分 布 时 要 注意 先 验 的 合理 性 , 因为 计 
算 上 的 方便 与 先 验 的 合理 性 和 比 那 还 基 第 二 位 的 . 何况 近 十 多 年 来 统 
计 计 算 技 术 得 到 长 足 的 发 展 ( 见 本 书 第 六 章 }, 后 验 分 布 及 各 种 后 验 量 
的 计算 已 不 是 使 用 Bayes 分 析 的 障 狂 ,这 时 更 应 注意 先 用 先 验 分 布 的 
会 理性. 

先 验 分 布 中 所 含 的 参数 (假如 有 的 话 ? 称 为 超人 参数 . 共 轿 先 验 分 布 
中 常 全 有 超 参 数 , 如 何 确 定 这 些 超 参数 是 选用 共 辆 先 验 分 布衣 到 的 另 
一 个 河 题 . 这 个 问题 的 回 管 没有 一 般 程 式 , 要 看 你 手中 局 有 的 先 验 信息 
《经 验 和 历史 资料 ) 的 情况 而 定 .下 面 的 例子 可 和 启发 我 们 ,确定 超 和 参数 有 
几 条 途径 可 殿 选 择 . 

例 5.28 前 面 已 模 出 :二 项 分 布 中 成 功 概率 6 的 其 赤 先 验 分 布 是 
Beta 分 布 Betn, 上 ,现在 来 讨论 此 共 示 先 验 分 布 中 的 个 超 参 数 a 与 5 
如 何 确定 ,下 看 分 儿 种 情况 讨论 : 

a) 假如 根据 先 验 信息 能 获得 成 功 硫 率 的 若干 个 (间接 ) 观 察 值 : 
和 它们 是 从 历史 数据 整理 加 工装 得 的 ,由 此 可 算得 先 验 
均值 86 和 先 验 方差 58 为 : 


— 1 2 1 |! 
5 一 也 0 号 一 -一 i2 0 有 
然后 令 其 分 别 等 于 Beta 分 布 Beta,5) 的 数学 期 请 与 方差 ,上 即 
i a 
4. 


ap 
Ca Hie 二 可 十 1) 


解 之 , 即 可 得 超 和 参数 a 与 恕 的 矩 法 佑 计 值 : 


S$ 
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d= 1 b= 8) 
\ 8 ! ' 3 
hb) 般 如 根据 先 验 信 息 只 能 获得 先 验 均值 3. 可 今 
一 
鼠 十 站 一 


一 个 方程 不 能 确定 两 个 超 参 数 , 苹 如 0 一 0.4, 悄 人 么 满足 方程 ae 人 ke 十 切 
二 0.4 的 a 与 5 有 无 穷 密 组 解 . 表 5.5 列 出 若 于 组 ;从 此 胡可 网, 它们 
的 方差 Var(8) 随 普 a 十 5 的 增 大 而 减 小 .方差 减 小 意 昧 着 概率 在 向 均 
值 E15) 集中 ,从 而 提高 (8) 二 0.4 的 确信 程度 , 这 样 -… 来 ,选择 a 十 6 
的 问题 转化 为 决策 人 对 下 (一 0.4 的 确信 程度 大 小 的 问题 ,着 对 EC8) 
二 0.4 很 确信 , 那 4< 十 5 可 选 得 大 一 些 , 和 否则 a 十 b 就 选 得 小 一 些 . 警 如 
决策 人 对 工 (1 一 0 4 很 确信 ,从 而 选 es 十 5 一 35. 从 可 5.5 可 见 , 此 时 4 
二 14.65 一 21, 这 样 8 的 先 验 分 布 为 Be(14,21). 


玫 5,5 Beta 分 布 中 超 参 数 与 方差 的 关系 


Teta 分 布 War BDI 
Be 3 ;| 5 -4 D. D400 
Detd,E) 4 10 站 .44 DO. D218 
HelB,12) 名 2 .4 D0. D114 
fiet10.15) 10 25 们 ,4 DO. 0092 
Rell4,21} 14 0. 0067 


c) 用 商 个 分 位 数 来 确定 a 与 5, 璧 如 用 两 个 上 下 四 分 在 数 束 和 久 
( 册 图 5.7) 来 确定 a 与 从 图 5.7 上 可 以 看 出 ,与 名 分 别 满足 如 下 
方程 


#1] — 1d = 0. 25 


[Te 二 的 
o Fla) Ts) 
'T(a + 
Pla Te) 
这 可 用 Beta 分 布 与 下 分 布 关 系 和 数值 积分 求解 . 


Fd = 0.,23 
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图 5.7 Beta 分 布 的 上 ,下 四 分 位 数 
如) 如 果 泪 策 者 对 成 功 概率 日 一 无 所 知 , 则 可 悟 用 Bayes 拒 说 , 即 


用 Beta 分 布 Bet1,1) 作 为 8 的 先 验 分 布 . 这 种 先 验 分 布 是 所 谓 无 信息 
先 验 分 布 中 的 一 种 . 


35.4.5 后 验 风 险 准 则 


设 有 一 个 可 控 参 数 结构 (多 , 轨 ,{ps : 9E 8}) , 记 和光 s 有 是 参数 空间 
全 中 茶 些 子 集 组 成 的 5 代数 . 且 在 (全 ,Bs) 上 有 一 个 先 验 分 布 x(9). 
及 设 (4,-354) 蚌 行动 空间 . 由 ( 侣 ,. 委 ) 到 (C4, 咒 ,) 上 的 一 切 可 测 变 
换 组 成 的 决策 画 数 类 记 为 2 一 1G(z?)}. 
最 后 没有 一 个 定义 在 日 XA 上 的 损失 函数 (98.6). 
这 些 假 设 与 $5.1.2 中 三 个 基本 要 案 相 于 只 多 了 一 个 先 验 分 布 . 
而 这 一 点 正 是 Bayes 学 派 认为 在 讨论 统计 间 题 中 是 不 可 甬 少 的 . 有 人 
把 他 当 作 统计 决策 问题 的 第 四 个 基本 要 率 . 这 里 把 含有 先 验 分 布 假设 
的 统计 决策 问题 称 为 Bayes 决策 问题 . 前 面 我 们 讨论 Bayes 风险 准则 
《85.4.2) 就 是 在 Bayes 决策 问题 中 进行 的 , 现在 讨论 后 验 风 险 准 则 也 
是 在 Bayes 决策 问题 中 进行 的 . 
定义 5.11 在 虐 述 优 设 下 ,多 中 任 一 个 决策 函数 5 一 BCzr) 的 损失 
画 数 志 48,aczr) 对 后 验 分 布 xz) 的 数学 期 望 称 肖 后 验 风 险 , 记 为 
RB12) = Eo[LO,6Cz))] 
| J (6,8Grn)rtelzydg， 当 为 连续 量 
一 Ja (5. 43) 
> .L064r) jx(61z)， 当日 为 离散 量 


& 5.4 Bayes 决策 准则 "359 * 


侦 如 在 三 中 存在 这 样 一 个 决策 汀 数 8' (xz), 使 得 
R68° |z) = inf RCS 1), 工区 -和 (5, 44} 
则 称 人 (rz)? 为 该 统计 决策 问题 在 后 验 风 险 准 则 下 的 最 翩 决 策 画 数 ,或 
称 为 Bayes5 后 验 型 ) 决 策 函 数 . 在 估计 问题 中 , 它 又 称 为 Bayes (后 验 
型 ?估计 ， 
例 $5.39 设 志 一 (有 是 来 自 正 态 总 体 Nt,1) 的 一 个 样 
本 . 假如 参数 & 的 先 验 分 布 取 为 共 辐 先 验 分 布 N(0,r), 其 中 7 已 知 . 
而 损失 需 数 取 为 0-1 损失 郴 数 
0， I — gx| 守 : 
rp = 1, 18—p| ie 
要 求人 多数 上 的 Bayest 后 验 型 ) 估 计 . 
在 例 5. 26 中 ,我 们 已 求 得 在 给 定 样 本 观察 值 x 下 ,的 后 验 密度 
xxx) 为 正 态 分 布 N( > TAG 十 tr?) 1 十 一 5) .对 任意 一 个 奖 
策 畏 数 SCzr)E 鹃 ,其 后 验 风 险 为 


RG) | Lora dp = 1— Pald ~ pl ete) 


要 使 上 上 述 后 验 风 险 最 小 ,就 要 使 上 式 中 的 条 件 概率 最 友 . 由 于 后 验 分 布 
Xtpi7) 是 正 态 分 布 , 要 在 定 长 区 间 ( 长 度 为 2s) 上 的 概率 为 最 大 ， 8) 
只 能 取 后 验 分 布 的 均值 , 即 在 此 场合 下 ,Am 的 Bayes (后 验 型 ) 刁 计 为 


赤 


6.Cx) = 二 5 


它 与 经 典 方法 得 到 的 估计 下 是 不 同 的 ,一 般 有 
BCT) 过 天 
5.《x) 要 比 芝 更 接近 于 0, 这 是 由 于 先 验 分 布 给 我 们 带 来 一 些 靖 息 之 
故 . 只 有 当 rz- 一 cc 时 , 才 有 人 (Czr) 一 总 . 
例 5.30 设 样 本 关内 可 能 来 自 密度 冶 数 poC7) 或 加 (z) 中 的 一 
个 ,为 了 研究 该 样本 到 底 来 自 哪 个 分 布 ,我 们 来 考虑 如 下 的 简单 体 设 的 
检验 问题 : 


五 5 :来自 zoltz)， 吾 , 1 汪 来 自 pi (x) 
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此 时 参数 空间 合 =10,1} 只 会 两 个 元 素 , 其 中 “9 二 0” 表示 天 来 自 
petx2 "8 一 1" 表 示 让 来 和 ptr),; 在 全 上 的 先 验 分 布 为 
PA=0)= xP Q=1)=n =—=1l— 
由 Bayes 公式 下 算得 :在 给 出 样本 观察 值 z 后 ,9 的 后 验 分 布 


potT YA 


PO =i|x) 一 ENETETE 十 声 (《 工 90 
P11lTIAL 


pox ptr 
在 这 假设 签 验 问题 中 也 只 有 接受 (用 0 表示) 和 拒绝 (用 1 表示 ) 两 个 行 
动 ,加 行动 空间 = 10,1), 假如 再 取 损 失 邓 数 
工作 门 一 1 一 有 
其 中 ;等 十 0 或 1 依赖 于 i 关 / 还 是 1 二 7. 璧 如 ,LL(0,1) 表 示 当 #8 二 0 
时 ,采取 拒绝 行动 引起 的 损失 . 按 上 式 公 式 上 (9,1) 二 1， 其 它 场 合 可 类 
似 解 释 .在 上 述 假定 下 ,可 算得 各 个 行动 的 后 验 风 险 ， 
RAOIT) = PCO=1|7), R(x) = PH = 0|x) 
根据 知 验 风险 准则 ,可 以 找到 如 下 的 Bayes( 后 验 型 } 决 策 函 数 
Do, Pi = 1|7) < 下 (一 站 | 了 
Sd" Cx) 一 | 
tl, PW@= 1 PH 0|7) 


一 1 


一 蜂 


y+ Cr) 一 和 Plx)n) < px 
人 l, p(x 2 ptrAn, 
这 个 Bayes(5 后 验 型 ?决策 函数 所 决定 前 拒绝 域 ( 当 p(xr) 了 0) 


WW {z+ > 亚 
pulw} Tl 


与 先 验 分 布 中 两 概率 的 比值 有 关 . 其 形式 与 Neyman-Pearson 引 理 给 
出 的 拒绝 域 - - 样 .这 说 明 在 简单 假设 检验 场合 下 Baycs (后 验 型 ) 决 策 
函数 就 是 最 优势 (MP ) 检 验 . 

最 后 我 们 来 研究 Bayes 决策 函数 5' (Cr) 与 Bayes (抽验 型 ) 迫 策 函 
数 8"" tz) 的 等 价 性 . 

定理 5. 5 对 给 定 的 统计 决策 问题 (包括 先 答 分 布 的 给 定 ) 和 决 
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策 函 数 类 名 , 当 Bayes 风险 满足 如 下 条 忻 

int Re(6) < co 《5, 45) 
则 Bayes 风 策 函数 5 与 Bayes( 后 验 型 ) 决 策 沂 数 8* “是 等 价 的 . 即使 
后 验 风 险 最 小 的 决策 函数 8" 同时 也 使 Bayes 风险 最 小 .反之 ,使 
Bayes 风险 最 小 的 奖 策 画 数 人 同时 也 使 后 验 反 险 最 小 . 

证 明 : 证 面 似 对 XX 和 8 都 是 连续 随机 变 景 时 给 出 证 明 . 因为 当 把 
Lebesgue 测度 疏 为 省 让 的 控制 测度 时 ,不 难看 出 ,下 述 证明 仍 然 成 立 . 
首先 利用 上 述 条 件 45. 45) 建 立 Bayes 风险 与 后 验 风 险 之 间 的 关系 . 对 
任 一 个 8€ 这 ,根据 Bayes 风险 KR.) 和 风险 卫 数 RC(8,8) 的 定义 ,有 


R80) = | Re,anc0)ag 一 | (| Lo0,0 prod )r(0) dg 


由 村 疡 trl2orf 一 二 ztr) 和 给 定 的 条 件 (5.52)?, 上述 两 个 
积分 次 序 可 以 交换 . 于 是 
R,(8) = | : | es)zelz)dgjmCz)dz _ | RB | mC de 
1 [=| A 


其 中 只 (81zr) 是 了 的 后 验 风 险 , 这 表明 :Bayes 以 险 是 后 验 风 险 对 边际 
分 布 mtx) 的 数学 期 望 . 
根据 Bayes 决策 函数 "的 定义 和 法 都 引 理 ,有 


RY = inf RGB)= inf | RB) em ddr 
由 EE 3E tm J 

次 | inf RC | zm ddr 
EE 


| Re “| zymCradz = RG**) 

> inf R86) = RC) 
出 此 可 得 

RitB**) = inf R$) = R(t) 
所 
这 表明 :使 后 验 风 险 基 小 的 决策 因数 3" "同时 也 使 Bayes 风险 最 小 ， 
另外 .由 上 面 还 可 推 得 
| [RB |r} — RO"* |Z mind 一 0 
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由 人 * 的 定义 可 知 ,RC6' [zr) 一 RiC6'" |x) 实 0. 喜 得 
RA |x) = RB? |r) = inf RCS|x) 

这 表明 :使 Bayes 反 险 最 小 的 决策 函数 ?也 使 后 答 忆 险 最 小 . 证 毕 ， 

应 该 指出 , 当 定 理 5.5 的 条 件 (5. 45) 满 足 时 ,寻求 Bayes 决策 函数 
有 两 条 途径 . 实际 中 ,大 们 常 使 用 后 验 风 险 途 径 . 因为 它 的 计算 相对 简 
单 和 方便 . 而 当 定 理 5.5 的 条 件 (5.45) 不 满足 时 , 基 当 inf R(8) 二 oo 
时 ,两 种 Bayes 决策 函数 就 不 一 定 等 价 . 元 论 从 理论 或 实践 的 角度 看 ， 
使 Bayes 反 院 为 无 穷 大 的 决策 函数 是 意义 不 大 的 . 我 们 的 注意 力 应 集 
中 在 使 Bayes 风险 为 有 中 的 那些 决策 函数 上 .日 人 们 总 希望 两 种 
Bayes 决策 聘 数 能 够 一 致 . 为 此 目的 ,今后 只 限于 状 虑 条 件 (5.45) 得 到 
满足 的 情况 ,这 就 保证 两 种 Bayes 决策 汕 数 是 等 价 的 ,不 用 区 分 耻 ， 
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现在 我 们 转向 讨论 在 Bayes 决策 问题 (3 5. 4.5? 中 使 用 后 验 期 户 
准则 的 某 些 标 准 应 用 . 中 间 还 要 介绍 一 些 先 验 分 布 的 确定 方法 . 


$5.5.1 Bayes 人知 计 


在 Bayes 决策 问题 中 用 来 表示 未 知 参 数 0 的 点 个 计 的 决策 虽 数 
6(x) 称 为 的 Bayes 估计 , 记 为 亲人 rr) ,其 中 表示 所 使 用 的 先 验 分 布 ， 
在 常用 损失 函数 下 ,Bayes 估计 有 她 下 儿 个 结论 . 

定理 5.6 在 给 定 先 验 分 布 x( 由 种 平方 损失 也.6) 一 (全 一 个) 
于 ,中 的 Bayes 全 计生 (x) 汶 后 验 分 布 T(6861zxz) 的 均值 , 即 
Str)=Ed|z). 

证 明 : 在 平方 损失 下 , 任 一 个 决策 苛 数 8 一 30z) 的 后 验 风 险 为 

EL 一 8 一 全 一 20E(8r) TT EC lr) 
此 后 验 风 险 达 到 最 小 , 仅 在 全 (z) 二 E08|zx), 证 毕 . 

定理 5.7 在 给 定 先 验 分 布 x( 拉 和 加 权 平 方 提 失 酒 数 上 (8,8) 一 

ACO)(6 一 各) 下 ,8 的 Bayes 估计 为 
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EL[aACO)8|z] 
ELACO) |z] 


证 明 : 类 似 于 定理 5.6 的 证 明 即 可 得 ,证 毕 . 

定理 5.8 在 向 基 参 数 8= (85.,…,5)》 的 场合 下 ,对 给 定 的 先 验 分 
布 x(9) 和 二 次 损失 函数 L(8,8)= 二 (5 一 9)'Q(5 一 9),0 为 正定 阵 ,8 的 
Bayes 估计 为 后 验 分 布 rx(8|x) 的 均值 向 县, 即 
E(B |x) | 


F(x) 一 


Br) = 一 了 Liz] = 


EQ, 17x) | 
这 个 结论 表明 :在 正定 二 次 损失 下 ,8 的 Bayes 估计 不 受 正 定 阵 人 的 选 
取 的 于 抗 ,这 一 特性 常 被 称 为 8 的 Bayes 帖 计 交 关于 闻 是 稳健 的 . 
证 明 , 在 二 次 损失 下 , 任 一 个 决策 天 数 向 其 5Czr) 一 (2(z)， 
,4X))' 的 后 验 风 险 为 
EL[C(B — DO 0] 
= EB) WMG— 8) + (FO) |z] 
一 (6— FOB FY ED — Oo .lz] 
上 述 最 后 一 个 等 式 是 考虑 到 下 (太一 bx) 一 0. 上 式 第 二 项 为 常量 ,而 第 
一 项 非 负 , 故 使 上 式 最 小 羽 在 5 一 六 (zx) 达到 , 证 毕 ， 
例 5.31 设 基 ,,…', 了 ,是 来 自 正 态 总 体 mao 的 一 个 样本 ,其 
中 已 知 ,车 8 的 先 验 分 布 取 其 共 应 先 验 分 布 N (x;7), 其 中 Pr 已 
知 , 则 在 例 5. 26 中 算得 其 后 验 分 布 为 NC;5f) ,其 中 


2 一 2 
Mo 一 开 


! 二 +o: " 用 
若 取 平方 损失 函数 , 则 6 的 Bayes 估计 为 其 后 验 均值 , 即 
(x) = hp (1 CO— NWF 
其 中 2 一 cA 二 90 人) , 当 开 > 过 时 ,> 部 ,于 是 从 上 式 知 , 先 验 均值 


在 Bayes 估计 中 占 的 比重 大 一 些 , 当 oji<cm 时 ,< 十 ,那么 样本 均值 


王 在 Bayes 估计 中 占 的 比重 大 一 些 , 这 是 符合 人 们 的 直观 认识 :“ 方 差 
小 的 信息 于 应 受到 重视 ”. 
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作为 数值 例子 ,我 们 对 一 个 儿童 做 智力 测验 . 设 测 验 结果 基 ~ 
NG,100), 其 中 8 为 该 儿童 智商 的 真 值 . 又 设 了 的 先 验 分 布 为 
NC(100,225). 应 用 上 述 结果 ,在 nw 二] 时 ,可 在 及 = 条件 下 获得 8 的 
后 验 分布 Ni ,a?) ,其 中 


400 十 9r 
A 13 * 


假如 这 个 儿童 智商 测验 得 分 为 115 分 ,出 他 的 智商 的 Bayes 司 计 为 
S11S5}— (400++ 3X 115)/13=110. 38. 

例 5.32 经 过 早期 筛选 (出 三 前 的 检验 ) 后 彩色 电视 接收 机 (简称 
彩电 ?的 寿命 服从 指数 分 布 , 其 密度 函数 为 

声 寻 | 有 = ie 0 
其 中 >0 是 彩电 和 的 平均 寿命 ,车 从 一 批 彩 电 中 随机 扫 取 n 台 进行 寿命 
试验 ,试验 到 第 > 台 失 效 为 止 ,获得 帘 尾 样本 斩 守 关 近 … 扫 上 此 截 尾 样 
本 上 = 一 (的 联合 密度 函数 为 
PUI) oc [l,le Ye Yr" = Oexp!— T,/0) 


其 中 了 一 三 十 十 去 十 人 一 > 称 为 总 试验 时 间 , 为 寻求 彩电 平均 寿命 
8 的 Bayes 和 计 , 要 确定 先 验 分 布 . 据 国 内 外 的 经 验 . 选 用 例 Gamma 分 
布 TCfka 作为 日 的 先 验 分 布 是 怡 当 的 , Gtey 和 ) 的 密度 炒 数 为 
x(0) = FE ew, g>0 
其 中 a>5,4>0 是 两 个 待定 参数 , 它 的 数学 期 望 E( 引 一 A (a 一 1). 
把 先 验 分 布 <( 人 与 截 尾 样本 分 布 相 乘 可 得 后 验 分 布 的 核 
了 (| cc pIDAOY oc -etre tI 

这 仍然 是 倒 Gamma 分 布 的 核 , 故 后 验 分 布 xt8|t) 是 IG(Ca 十 r ,A 十 T,.). 
息 如 取 平 方 近 失 函数 , 则 8 的 Bayes 悄 计 为 后 验 均 值 


of = (8. 32): 


为 了 最 后 确定 这 个 估计, 有 关 单 世 收 集 先 验 信息 和 抽样 信息 . 我国 彩 电 
生产 厂 微 了 大 二 的 彩电 寿命 试验 ; 仅 15 个 工厂 试验 室 和 一 些 独 立 试 验 
室 就 对 13 142 台 彩 电 进 行 了 共计 5 369 812 各 时 试 驻 ,而 且 有 还 对 9240 
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台 彩 电 进 行 了 三 年 现场 跟踪 试验 ,总 共 进 行 了 5 547 810 全 时 试验 . 这 
两 类 试验 疙 共 失 效 台 数 不 趋 过 250 各 , 对 如 此 大 其 先 蛤 握 息 加 工整 理 
后 ,确认 我 国 彩 电 平 列 寿 命 不 低 于 30 000 小 本 ; 它 的 10% 分 位 数 大 约 
为 11 250 小 时 ,经 过 - 些 专家 认定 ,这 两 个 数据 是 符合 我 国人 十 年 代 
中 期 彩电 寿命 的 实际 情况 ,也 基 留 有 余地 的 . 由 此 可 列 出 如 下 两 个 方程 


— 4 -30000 
一 1 


上 “rgdg — 0.1 
已 


在 计算 机 上 解 此 方程 组 ,得 

2 一 1.956， 一 2868 
这 样 -来 ,我 们 就 完全 确定 了 先 验 分 布 YC41.956,.2868)， 假 如 随机 朱 
取 100 台 彩 电 进 行 400 小 时 试验 ,没有 一 台 失 效 . 这 时 总 试验 时 间 工 ， 
一 100X 400 二 40 000 小 时 ,> 一 0, 于 是 彩电 学 雹 在 俞 吕 的 Bayes 估计 为 


2 _2.868+ TT, _ 42 868 
1 956 十 rr 一 1 0.956 


定理 5.9 在 给 定 先 验 分 布 +(8) 和 绝对 损失 函数 L(9,8) 一 
18 一 8| 下 ,8 的 Bayes 估计 为 (x) 后 验 分 布 zt8|x}) 的 中 位 数 ， 

证 明 : 设 莒 为 xt8|x}) 的 中 位 数 , 妈 设 =2(x) 为 8 的 另 一 居 计 .为 
确定 起 见 , 先 设 间 mm. 由 绝对 损失 函数 定义 西 得 


= 44 841(h) 


mG— Om 
A 
8 m, d=8 


当时 ,于 式 中 29 一 (mw 十 上 和 26 一 C17 二 划一 -一 可. 所 以 上 式 
为 

了 更 一 上 Hm 

了 (CD 一 了 (人 他) AE 

个 一 了 更， dm 

由 中 在 数 定名 知 Pm 172 而 P86m|x) 之 1/2， 由 时 可 得 
Rm|r) — RG|x) 
一 Eu:L LO,m) — L(G,6)|] 
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mPOAEm|r) 十 【58 一天)》 瑟 (9 人 ml|zr) 
(m2 Bm)/2=0 
于 是 对 圭一 站 有 
RCmlz) SE RSIz) 
类 似 地 ,对 5<m 亦 可 证 得 上 述 不 等 式 成 立 . 这 就 表明 后 验 分 布 中 位 数 
m 是 使 后 验 风 险 最 小 , 故 mm 是 其 Bayes 估计 ,证 毕 . 
定理 5.10 在 给 定 先 验 分 布 x(D 和 0-1 损失 消 数 
0, | — 0 所 e 
1， | — 8 
当 较 小 时 ,#8 的 Bayes 属 计 为 后 验 分 布 zx(8|x) 的 众 数 . 
证 了 明 : 下 面 对 6 为 连续 随机 变量 场合 给 出 证 蜡 . 在 8 为 离散 其 机 
变量 亦 可 类 似 证 明 . 考察 8 的 任 一 估计 6x) 的 后 验 风 险 


Tie 
RCS 17) = | LOCO yd = 1— | xcblz)d8 


竣 使 上 述 后 葵 风 答 最 小 ,就 要 使 上 式 右 端 积分 最 太 , 这 内 要 在 很 小 
时 , 仿 取 被 积 函数 rz) 的 极 大 值 就 可 达到 , 故 取 <t9 rz) 的 众 数 作为 8 
的 估计 就 下 使 后 验 风 险 最 小 ,证 毕 . 

例 5.33 设 随 机 变量 久 服 从 几何 分 布 

P(X = 7 =D, r= 0 

其 中 参数 8 只 能 取 1/4,2/4 和 3/4 三 个 值 ,并 以 相同 概率 取 这 三 个 值 ， 
如 邻 只 获得 - -个 观察 值 并 一 2, 要 在 0-1 损失 函数 下 寺 求 8 的 Bayes 估 
计 . 

在 这 个 问题 中 ,X 一 2 的 概率 为 P(X=2| 外 二 911 一 各 *, 而 8 为 
1/4,2/4,3:4 的 概率 皆 为 173. 所 以 联合 概率 

下 


1 了 工 | i 
1)—3 11 一 4) ， i = 1.2,3 


可 以 算得 无 条 件 概率 PCX 一 2) 一 5/48. 于 是 在 和 一 2 条 件 下 ,8 的 后 验 
分 布 为 


Ltd,d) = | 


了 一 2,8C= 


下 4 
PO= TIX—2) | 1 


可 以 算得 .8 二 1/4 的 后 验 概率 为 9/20.8 为 另外 两 个 值 的 后 验 概 率 较 
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小 ,分 别 为 8720 和 3720. 所 以 在 0-1 损失 函数 下 ,如 的 Bayes 估计 为 
174. 

评价 Hayes 估计 六 (x) 的 精度 常用 后 验 均 方差 

MSECF |x) = Eqs lo" 一 的? 
表示 , 战 用 其 平方 根 CMSE(C6" |z))1?3( 称 为 标准 误 1 表 示 . 容易 算得 
MSE(S"|z) = Vart$|z) + [Cr) — E(x 

可 见 , 当 Bayes 估计 (x) 为 后 验 均值 时 ,Bayes 人 慎 计 的 精度 就 用 六 的 
后 验方 其 Var(6".z) 表 示 , 或 用 后 验 标准 差 CVarc5"|z)) 吕 表示 . 

警 如 在 讨论 儿童 智商 测验 的 例 5.31 中 ,在 -次 测验 值 zx 下 获得 后 
验 分 布 rz 一 Nd400 十 9r)713,900713)》. 当 x 二 115 时 ,其 后 验 分 
布 为 N(110. 39, (8. 3277). 若 取 后 验 均 值 为 该 目 齐 智商 如 的 Bayes 估 
计 , 盈 6" 二 110. 39, 则 其 后 验 标准 差 为 8. 32. 芳 用 经 典 估计 交工 一 115 
时 ,其 后 验 均 方差 为 

MSE(CS" x) = (8.23)2 一 《110. 39 一 115)° = 90. 48 


其 标准 误 为 90. 48 二 9. 49. 
8$ 5.5. 2 Bayes 估计 的 性 质 


我 们 先 讨论 Bayes 和 估计 的 容许 性 . 
定理 5.11 在 Bayes 决 策 问题 中 ,假如 先 验 分 布 xf 的 在 寻 上 处 处 
为 正 . 对 每 一 个 估计 3(z)， 其 风险 函数 只 (8.3) 是 日 的 连续 画 数 ,其 
Bayes 风险 R(t8) 是 有 限 的 ; 则 上 的 Bayes 估计 信 导 容 许 的 .. 
证 明 : 悄 若 六 是非 容 许 的 , 则 在 在 荔 一 个 居 计 6(z) ,使 得 
ROB) CRG), YIEAD 
且 至 少 对 某 个 站 EB8, 使 得 上 述 严 格 不 等 式 成 立 , 即 
RQ,O) < ROO, ,HY 
根据 连续 性 的 假设 ,存在 一 个 正 数 s 及 邻 域 5. ,使 得 
RGB) < 民 民 (8 一 e，YDE SS， 
上 式 两 边 对 先 验 分 布 画 数 五 (9) 求 积分 ,可 得 


RO)— | REG,S) HO 十 J, ROO HC 
Se, < 
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过 | ,LRC0,0) — Jr de) 十 je 


一 R,(0") — eH(S.) < R.(0") 
最 后 一 个 不 等 式 盛 立 是 军 于 百 公 全 0. 这 与 六 是 Bayes 和 佑 计 饿 着 .新 
以 侠 是 容许 的 .证 毕 ， 

这 个 定理 虽然 简单 , 却 有 很 大 实用 价值 . 首先 它 可 说 明 一 大 批 
Bayes 估计 是 容许 的 . 其 次 它 指 出 证 明 “ 一 个 估计 是 容许 千 计 ”的 一 条 
思路. 假如 对 纵 定 的 估计 (xz), 能 找到 满足 定理 5.11 的 先 验 分 布 
7X(8) ,使 得 5(x) 就 是 关于 此 先 验 分 布下 的 Bayes 估计 即 可 . 

定理 5.12 在 给 定 的 Bayes 决策 问题 中 ,假如 对 给 定 的 先 验 分 布 
Tt),8 的 Bayes 估计 六 (是 唯一 的 , 则 它 也 是 容许 的 ， 

证 明 : 倘若 六 tx) 是 非 容许 的 , 则 存在 另 一 个 估计 Br 天 人 《Cr)， 
使 得 


ROB) SS ROOOD),. VOED 

且 至 少 对 茜 - -个 8 有 严格 不 等 式 成 立 , 上 式 两 边 对 先 验 分 布 积分 ,立刻 
可 看 出 ,5tx) 亦 应 是 0 的 Bayes 估计 .这 与 唯一 性 子 盾 .故人 人 z) 是 容许 
的 ,证 些 ， 

从 这 个 定理 可 以 看 出 , 当 名 和 朱 男 数 是 严格 凸 图 数 时 ,其 Bayes 估计 
必 基 唯一 的 ,从 而 也 是 容许 的 . 

直面 我 们 转 人 讨论 Bayes 估计 与 最 小 最 大 全 汁 的 关系 . 

定理 5.13 在 给 定 的 Bayes 决策 问题 中 , 乡 是 非 随 机 决策 函数 
类 . 假如 "Cr) Es7 居 对 应 先 验 分 布 吾 ” (的 的 Bayes 个 计 . 且 其 风险 
羡 数 RC98.6 二 p* (常数 )， YY 8E 旭 , 则 5' 是 参数 8 的 晤 小 最 大 估计 . 

证 上 朋 ; 因 8* 是 对 应 先 验 分 布 再 " (0 的 的 Bayes 估计 ,喜人 下 使 后 验 
风险 和 Bayes 风险 达到 最 小 . 若 记 :这 为 全 上 一 切 先 验 分 布 组 成 的 分 
布 旗 , 则 右 


= JR 0.6°)H" (0) = inf Jae, (dg) 
=. 


打 丘 EE 


<< sup inf [RC0, SH Cd0) = sup, inf Au) 
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人 B00) 
上 式 倒 数 第 二 个 不 等 式 成 立 是 内 为 "从 最 小 中 肥城 大 的 总 不 会 超过 从 
最 天 中 取 最 小 的 "之 故 . 事实 上 ,对 每 个 BE 急 , 总 有 


丽人) sup Rud) 
HE 
int Ry int sup R(td) 
SE 到 BE NER 
sup inf RO inf sup Ry (HY) 
HE HE HE 
上 式 最 后 一 个 不 等 式 咸 立 是 由 于 对 酝 一 个 再 E. 洲 ,总 有 
R18) = | ROO, H (dD) < supk (0,0) 
[a 六 所 贞 
sup Rg (DE supR ,6) 
EA BE 
inf Sup Kn C6) inf supR (0,6) 
另 - -方面 ,由 于 R98,6* ) 在 加 上 为 常数 5 . 故 有 
i C= Stf 民 ( 有 有) > inft supR dd.) 
FE BES CE 
比较 上 面 丙 个 方向 不 同 的 不 等 式 , 吧 证 得 * 足 8 的 晤 小 晤 大 估计 .证 
毕 . 

例 5.34 设 随 机 变量 X 一 pm 的 ,0<0c 1 若 8 的 先 验 分 布 取 
Beta 分 布 Be[ Vv /2 Vn 12. 车 从 二 项 分 布 仅 效 得 一 个 观察 值 x, 则 
其 后 验 分 布 为 Beta 分 布 Be[ 二 十 wn 12,n 一 7 十 wm 72). 于 是 在 平方 
析 尖 也 数 下 ,8 的 Bayes 估计 为 

. 工 十 wm A2 
Fr) 一 
请 
由 于 先 验 分 布 Be yz/2, Vn /2 在 (0,1) 上 处 处 为 正 , 由 定理 5. 11 
知 , 此 Bayes 全 计 合 (x) 是 容许 的 ,又 其 讨 险 孙 数 为 
一 2 
Ro mo oe 
六 十 wn 是 人 十 vn)? 
它 与 各 无 闫 .由 定理 5.13 知 , 全 还 是 最 小 最 太 知 计 . 

有 趣 的 是 把 售 与 8 的 MLE 一 zx/n 进行 已 较 . 容易 算得 的 风险 

阔 数 
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RG6) = Es| 三 一 Al 一 2 0 
图 5.8 上 夯 出 它们 的 风险 函数 图 形 , 从 图 上 可 见 , 任 岁 方 误差 标准 下 ， 
极 大 做 然 估计 8( 也 是 最 小 方差 还 妨 估计 ) 仅 在 两 端 (8 靠近 0 或 靠近 1 
时 ) 优 于 8". 而 在 中 段 (0. 5 附近 ) 不 如 
六 , 特别 在 不 玉 大 时 ,中 段 范围 各 还 
不 小 ;譬如 n=25 时 ,2 把 一 0.55,n 一 100 
时 ,28 二 0. 42. 

定理 5.14 在 绍 定 的 Bayes 决策 
问题 中 , 没 :五 : & 污 1} 是 全 上 的 一 个 
先 验 分 布 列 . (6; : & 字 1} 和 {Ri (061) :大 
全 1} 是 对 应 的 Bayes 估计 列 和 Bayes 图 5.8 珂 个 风险 函数 比较 ， 


风险 列 . 假如 87 是 8 的 一 个 居 计 , 且 它 /Ty JT 
的 风险 函数 满足 0 
2 1 vn) 


sup ROD,B) lim supRa, (FY 


则 全 是 如 的 最 小 最 大 估计 . 

证 阴 : 倘若 不 是 8 的 最 小 最 大 和 舍 计 , 则 存在 这 样 -个 司 计 站, 合 
得 

supR (0,5) < sup 及 人 2 人 ) 
由 于 名 是 对 应 先 验 分 布 Hi;( 四 的 Bayes 帖 计 候 六 1), 故 其 Bayes 风险 
最 小 ,从 而 
Ra, (6) < Rad) = | RGD HD) < snpR(O 加 
还 有 
Ry C6) SE supR(6, < supR《6， 合 * ) 

这 与 假设 的 条 件 矛 盾 ,这 说 明 他: 是 9 的 最 小 最 大 估计 ， 证 毕 . 

定理 5. 15 在 给 定 的 Bayes 决策 问题 中 ,车 #8 的 一 个 估计 5: 的 风 
险 函 数 六 (8.6" ) 在 如 上 为 常数 p* ,生存 在 一 个 先 验 分 布 列 {及 ;} 使 得 
相应 Bayes 估计 的 Bayes 风险 满足 

limRa, (0) = p* 
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划 5* 是 8 的 最 小 最 太 司 计 . 
证 明 : 对 任意 的 8E 介 ,有 
SuBR(9 》 = R(0,6*) = Pp* 一 limRa, (57. 
这 表明 定理 5. 14 的 条 件 满足 , 故 为 8 的 最 小 最 大 估计 ,证 毕 . 

例 5.35 设 贸 /,-…,XX, 是 来 自 正 访 总 体 N(p;1) 的 一 个 样本 . 则 在 
0-1 损失 函数 下 利用 定理 5,15 可 以 证 明 : 样 本 均值 下 ,是 p 的 最 小 最 
大 和 佑 计 ， 

应 用 定理 5. 15 的 关键 在 于 选取 适当 的 先 验 分 布 列 ,在 例 5. 27 中 ， 
曾 选 用 NC(0,7T*) 作 为 上 的 先 验 分 布 ,并 在 0-1 损失 下 获得 py 的 Bayes 
估计 

>uX 及 
n 十 fr? 1 十 17mge 
容易 看 出 ,58, 仍 服从 正 态 分 布 ,其 期 望 与 方差 分 别 为 


d(x) = 


1 一 2 
EC8.) = Var 一 [1 十 二 | 


1 十 1Arrz 
它 的 风险 函数 
Rigsd) = Pl — gl1— Pp ed Ti+) 
一 2 一 到 vd+ 直 |+ 夫 |- 
1 i 
o| cab + 一 雹 | 
在 此 基础 上 ,我 们 选 一 个 序列 mm<m< 近 … 一 co 从 而 获得 一 先 验 分 
布 列 TV(0,r}，- Bayes 合计 到 16.} 和 一 风险 函数 列 {Rtp5..)}. 由 
诸 尺 CPps6.)<2 ,根据 Lebesgue 控制 收 敏 定理 有 
limRa (8.) = limEn, [Rss 7 
= Es E[HimRC“,3) | 
= Es [2— 22(v ne)] 


=2[1— Bye) |= Pp" 
而 六 也 正 是 样本 均值 总 , 在 0-1 损失 函数 下 的 风险 . 最 后 由 定理 5.15， 


» 372 - 第 五 章 ”统计 决策 理论 与 Bayes 分 析 


知 样 本 均值 X, 在 0-1 损失 隔 数 下 是 产 的 最 小 最 大 个 计 ， 

景 后 在 这 里 简单 地 提 及 -- 个 问题 ;在 Bayes 估计 中 涉 用 无 篇 性 来 
评 春 一 个 他 计 的 好 坏 , 这 是 因为 在 无 偏 合计 的 定义 中 ,EV(z) 二 98, 其 中 
数学 期 望 是 对 样本 空间 中 所 有 可 能 样本 x 而 求 的 .可 实际 中 黎 大 允 数 
样本 尚未 出 现 过 ,其 至 重复 数 百 次 也 不 会 出 现 的 样本 也 览 在 评价 合计 
量 中 占 一 这 之 地 .这 是 不 应 该 的 . 男 一 方面 ,在 实际 使 用 中 不 少 估 计量 
只 使 用 一 次 或 数 次 ,所 以 Bayes 学 派 认为 ,评价 -个 个 计量 的 好 坏 只 能 
依据 在 试验 中 所 收集 到 观察 慎 , 不 应 该 使 用 尚 末 观察 色 的 数据 . 这 一 观 
点 被 Bayes 学派 称 为 “条件 观点 ”. 据 此 , 舍 计 的 无 偏 性 在 Rayes 估计 中 
不 予 考 虑 ， 

Pratt 人 1962 第 举 了 一 :个 例子 说 明 经 典 学 派 的 “频率 观点 "在 处 理 
类 似 问 题 中 的 看 法 .一 位 工程 师 在 对 电子 管 的 一 个 随机 样本 济 量 板 极 
电压 时 . 上 所 用 淹 量 仪器 极其 精密 ,以 致 误差 可 和 忽略 不 沁 ， -位 统计 学 家 
检查 了 测 基 值 ,看 上 去 为 正 态 分 布 ,变化 范 郴 为 75 到 599 优 特 ,均值 为 
87 ,标准 其 为 4. 他 进行 了 统计 分 析 , 给 出 了 总 体 均 值 的 曾 信 区 间 . 后 来 
他 到 试验 室 发 现 , 电 压 计 读 数 至 多 为 100 忧 特 . 于 是 认为 总 体 是 “ 裁 尾 
的 ”, 应 重新 处 理 数 据 .但 工程 师 说 ,他 有 另 一 各 上 电压 计 , 同 样 精度 ,能 测 
到 1000 伏特 . 如 果 上 电压 超过 100 伏特 ,就 会 用 这 一 千 渊 量 . 这 使 频率 派 
统计 学 家 感到 放心 ,因为 这 表明 总 体 华 竟 是 完整 的 . 无 须 重 新 处 理 数 
据 . 第 二 天 [ 程 响 打 电 话说 ; “我 刚刚 发 现 , 那 台 高 量程 的 电压 计 坏 了 .” 
统计 学 家 查 明 , 那 台 高 量程 的 电压 计 艇 复 之 有 前, 试验 没有 停止 , 故 通知 
工程 师 ,数据 需要 重新 分 析 . 工程 师 大 应 一 惊 地 说 ;:“ 妈 使 那 台 高 量程 的 
电压 计 是 好 的 ;试验 所 测 数 据 也 会 -- 样 . 无论 如 何 . 我 们 得 到 的 是 我 的 
样本 的 精确 电压 值 . 下 一 次 你 就 要 问 到 我 的 示波器 了 肥 .” 

这 个 例子 所 讨论 的 问题 涉及 两 个 不 阅 总 体 . 即 是 否 需 要 用 在 100 
处 的 截 尾 正 仿 总体 ,这 对 均值 的 置信 区 间 会 有 很 大 影响 ,可 抑 Bayes 观 
点 认为 , 设 有 发 生 的 二 值 (如 工大 于 或 等 手 100) 对 均 佣 的 推断 和 站 策 
是 没有 章 闪 的 .从 这 个 例子 可 砚 条 件 观 点 与 频率 观点 问 的 差别 ,也 可 看 
出 工程 师 是 容易 接受 条 件 观 点 的 . 
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从 Bayes 分 析 诞 生 之 日 开始 就 伴随 - -个 问题 :没有 先 验 信息 场合 
如 何 确定 先 验 分 布 ? 如何 进行 Baycs 分 析 ? Bayes 学 诬 对 此 作 了 大 量 研 
容 , 获得 一 批 成 果 , 统称 为 无 信息 先 验 分 布 . 这 是 Bayes 学 派 在 最 近 二 
十 多 年 来 获得 的 重要 成 果 之 一 ;下 面 分 儿 点 说 明 . 

1. Bayes 假设 

大 们 常 把 "没有 8 的 任何 六 息 *” 理 解 为 对 8 的 任何 可 能 人 古 既 沅 仍 
爱 , 又 同等 无 知 . 因此 很 自然 地 把 #8 取 值 范围 上 的 均 名 分 布 取 作 8 的 先 
验 分 布 . 警 如 ,车 对 男 婴 的 出 生 率 ,射击 的 命中 率 , 商 品 的 市 场 占有 率 等 
一 无 所 知 时 可 用 (0,1) 上 的 均 名 分布 (0,1) 和 作为 先 验 分 布 , 若 日 一 Ca， 
5), 那 可 用 区 人 ay 所 作为 先 验 分 布 , 这 种 称 为 "Bayes 假设 ”的 均匀 分 布 
是 局 当地 表达 了 了 人们 对 如 的 一 种 认识 ， 

使 用 Bayes 假设 也 会 昌 到 一 些 麻 频 ,主要 是 以 下 两 个 . 

一 基 当 如 为 无 限 区 间 时 ,无 法 在 其 上 定义 一 个 正常 的 先 验 分 布 ， 
下 面 的 例子 具体 说 明 过 到 什么 样 的 麻烦 . 

例 5.36 设 总 体 基 一 入 C8,1); 其 中 8E (一 oo,o0) 一 犁 , 斩 对 8 既 
劾 任何 信息 ,也 无 杭 爱 , 那 应 取 如 下 “均匀 分 布 ” 

Xx(O) = ee, — oo 


品 然 , 这 不 是 一 个 正常 的 概率 密度 函数 ,因为 | ” r(b)dg= co , 信 得 注 
意 的 是 , 阁 按 Bayes 公式 计算 ,可 得 

p(x Or0) 1 
p(x|O) nr(O dg ar 


即 在 钦定 x 下 :9 的 后 验 分 布 为 Ntizx,1), 这 是 -~- 个 正常 的 概率 分 布 ,是 
rc 的 选择 并 不 重要 , 常 选用 rt 仍 ==1. 车 用 后 验 均 值 作为 8 的 估计 , 则 有 
98 一 zx, 这 与 只 用 样本 信息 获得 的 结果 是 一 致 . 这 种 现象 不 是 个 别 的 . 
Bayes 学 派 认为 这 种 不 正常 的 均 句 分布 也 是 先 验 分 布 ,并 称 之 为 广义 
先 验 分 布 . 它 的 一 般 定义 如 下 、 

定 光 5.12 设 总 体 关 一 plz| 四 ,8E€ 旬 ,车 满 是 下 列 条 件 


1 2 
pe 二 


和 (中 二) = exp| 
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(ii) 由 此 决定 的 后 验 密 度 rr) 是 正常 的 密度 画 数 . 
则 称 x( 引 为 8 的 广 沁 先 验 密 度 . 

在 例 5.36 中 给 出 的 x( 站 二 1 就 是 正 态 均值 2 的 一 个 广 闵 先 验 分 
布 ,也 是 一 个 典型 的 无 信息 先 验 分 布 ,并 称 它 为 实数 集 上 的 均匀 分 布 ， 

另 一 个 麻烦 是 Bayes 假设 不 满足 变换 下 的 不 变性 . 壁 如 正 访 总 体 
0,o) 中 的 方差 史 与 标准 车 eg 都 在 (0,ce) 上 有 电 值 . 若 = 的 先 验 分 布 


到 为 r(c). 册 按 概 率 运 算法 则 ,一 守 的 分 布 应 为 区 7)AC2 Y 了 )， 
根 如 对 它们 均 无 任何 先 验 信息 可 用 ,车 5 的 泡 信 息 先 验 分 布 被 选 为 常 
数 , 那 么 7 二 o 的 元 信息 先 验 密度 应 与 六 成 比例 . 这 与 Bayes 假设 矛 
盾 . 这 个 予 后 说 明 ,. 不 能 随意 设 定 一 个 常数 为 某 参 数 的 无 信息 先 验 分 
布 . 一 些 研 窑 表 明 ,无 信息 先 验 分 布 的 选取 与 参数 在 总 体 分 布 中 的 地 位 
”很 有 关系 . 以 下 手 述 其 中 几 个 常用 的 方法 . 

2. 位 置 参数 的 无 信息 先 验 分 布 

设 总 体 区 的 密度 沙 数 具有 形式 p(x 一 从 ,其 样本 空间 . 窑 和 参数 
空间 上台 此 为 实数 集 及 这 类 密度 组 成 位 置 参数 族 ,4 称 为 位 置 参 数 . 

设想 让 六 穆 动 - :个 量 ec 得 到 = 和 二 ec, 同时 让 参数 9 也 移动 同一 
个 量 c 得 到 3 二 8 十 c, 显然 了 有 密度 py 一 ?)， 它 仍然 尾 位 置 参数 族 的 
成 员 . 因此 8 与 ”应 具有 相同 的 无 信息 先 验 分 布 , 即 

TCF) = A’ Cr) 

其 中 到) 和 和 zx"C，) 分 别 为 8 和 # 的 无 信息 先 验 分 布 . 另 一 方面 ,由 变 
换 w==8 十 c 可 算得 ? 的 无 信息 先 验 密度 为 


， 四 | 
T 而 -一 【 和 -一 
元 " 《下 ) EE x —c) xn .) 


比较 上 而 两 式 可 得 x(7) 二 x09 一 0). 此 式 要 对 任意 了 的 电 值 都 成立 . 特 
别 取 ?一 <, 则 有 xc) 一 r(0) 一 常数 . 又 由 于 ce 的 任意 性 ,故乡 的 无 信息 
先 验 分 布 应 为 x( 拉 一 1. 这 表明 ;位置 参数 在 位 移 变 换 保 持 不 变 的 无 信 
息 先 验 分 布 是 人 一 1. 这 就 是 Bayes 假设 . 

3. 尺度 参数 的 无 信息 先 验 
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设 总 体 久 的 密度 具有 形式 十 p| 三] ,其 中 称 为 尺度 参数 ,参数 宰 
间 为 (0,co) 一 R+. 这 类 密度 组 成 尺度 参数 族 ， 

设想 让 下 改变 比例 尺度 得 了 二 cX(c 之 0), 类 似 地 ,也 让 o 同步 变 
化 , 即 9 一 co. 不 难看 出 ,Y 的 密度 函数 为 寺 p| 立 | , 仍 属 尺 度 参数 族 . 因 


此 g 的 无 信息 先 验 分 布 x(o) 与 3 的 无 信息 先 验 分 布 x' (7 应 相同 , 即 
xtr) 一 开 Cr) 
男 一 方面 ,由 变换 ?7 一 ec 可 以 算得 ?的 无 信息 先 验 分 布 


“w= 1 


比较 上 面 两 式 可 得 x(9) 一 上 x| 对 | , 取 9 一 <, 则 有 x(c) 一 二 (1). 为 广 


1 上 


便 计 , 令 x(1) 二 1, 这 样 就 得 到 a 的 无 信息 先 验 分 布 
Tc) 一 二 ， > 人 0 


这 表明 :尺度 参数 在 按 比 例 变 摘 下 保持 不 变 的 无 信息 先 鸡 分 布 是 
和 fc 一 二 1. 


这 仍 是 一 个 不 正常 先 验 分 布 .但 可 成 为 广义 先 验 分 布 . 警 如 它 与 单 
参数 指数 分 布 PCz/a) 一 二 exp{ 一 z/a} 结 合 而 得 到 的 后 验 为 ra|z) 一 


Ro “exp{ 一 xfojz>>0 这 仍 是 倒 Gamma 分 布 IG(1,x), 它 是 一 个 正 
常 密度 函数 . 故 上 述 无 信息 先 验 分 布 是 尺度 参数 的 广义 先 验 分 布 . 

4. Jeffreys 先 验 分 布 

设 = 一 《zz 是 来 自 审 度 函数 pCx| 闪 的 一 个 样本 ,其 中 8 一 
{0 ,0,) 是 思维 参数 向 量 .在 对 日 无 仁和 何 先 验 信息 可 用 时 ,Jeffreys 
《19617 利 用 变换 群 和 Harr 测度 导出 8 的 无 信息 先 验 分 布 可 用 Fisher 
信息 阵 的 行列 式 的 平方 根 表 示 . 这 种 无 信息 先 验 分 布 常 称 为 Jeffreys 
先 验 分 布 ,其 寻求 步 又 如 下 : 


G) 写 出 样本 的 对 数 似 然 函数 1(9|z) 二 > Inp G10); 
(ii) 算出 参数 8 的 Fisher 信息 阵 
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| Fi 
TB6) 一 El ea j=l 
在 单 参数 场合 .1(6) 一 FE.i| - 动 | 


《io8 的 无 芒 息 先 验 密度 画 数 为 x(9) 一 [detT(9) .在 单 参数 场 
合 , 天 (9 一 [LTC87 


例 5. 37 设 买 一 (zy sn ) 是 来 自 正 态 总 性 Nan 的 一 个 样 
本 ,更 求 参 数 向 量 (Cp,0) 的 jeffreys 先 验 . 
容易 写 出 其 对 数 似 然 了 务 数 
0) -= Finn ~ alno — Bh Dt 一 A) 


其 Fisher 信息 阵 为 


o|- 间 下- 六 


A du 
了 As 一 _ 二 [过 
Dexar ao) 
no 0 
二 0 pa] 


deti(£.0) = 2n'0 + 
所 以 Cao 的 Jeffreys 先 验 为 


NUT) CC go ? 


它 : 的 几 个 特例 是 
(1) 当 .og 已 知 时 ， ro 一 E| S| 一 n/o. 喜 x (二 1 ,4ER; 
《2) 当 产 已 知 时 ,ro) 一 | | 一 2n/g. 枚 和 io 一 17zyggERRT 


3) 当 与 9 相互 独立 时 ,Tr(p0) 二 1/ao ,WER.oER. 

可 见 Jeffreys 先 验 分 布 表 明 ;y 与 o 的 泡 信 息 先 验 分 布 是 不 独立 
的 . 在 Cy,o) 的 联合 无 信息 先 验 分 布 的 两 种 形式 (co ' 与 9 “) 中 ,Jeffreys 
最 终 推 荐 的 是 x(y,o) 二 1c. 实际 的 使 用 情 沈 看 ,多 数 人 愿意 采用 
Jeffreys 的 最 终 推 荐 形式 . 

例 5.38 设 如 为 成 功 概 率 , 则 在 ”= 次 独立 试验 中 减 功 次 数 苞 服从 
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二 项 分 布 , 即 


in 
PlX= 区) = 
1 二 


其 对 数 似 然 函 数 和 Fisher 信息 分 别 为 


ja 一 "7, 二 


be 


{= rlnd + tn — rx)n(dl—A)+ln 


I 


rc@= El 学 | = 十 了 
所 以 ,在 二 项 分 布 场 合 ,成 功 概率 8 的 Jeffreys 先 验 分 布 为 
rtBy oi Wi, OE O00,1) 

关于 成 功 概 率 8 的 无 信息 先 验 分 布 ,至 今 至 少 己 有 以 下 四 种 : 

rit8)=1 -Bayes (1763) 和 Laplace(1812) 采 用 过 . 

ra) = D1! -Novick 和 Hall(1965) 导 出 . 

zDD 5 -Jeffreys(19687) 导 出 ， 

T= 0? -Zellner (1977) 导 出 . 
所 有 这 由 种 无 信息 先 验 都 是 合理 的 ,因为 他 们 各 从 - -个 柱 面 提出 自己 
的 合理 要 求 , 然 后 再 推 尼 出 来 的 .其 中 加 是 不 正常 密度 ,而 x 是 正常 
密度 ,而 zs,x 经 过 正则 化 后 亦 可 成 为 正常 密度 . 但 它们 与 二 项 分 布 结 
合 都 可 得 正常 后 验 密度 , 故 它们 亦 都 是 广义 先 验 分 布 . 

一 般 说 来 , 记 信 息 先 验 不 是 唯一 的 ,但 它们 对 Bayes 统计 推断 的 结 
果 的 影响 都 是 很 小 的 ,很 少 对 结果 产生 重大 影响 . 所 以 任何 元 信息 先 验 
分 布 都 可 采用 . 当今 无 论 在 统计 理论 研究 和 应 用 研究 中 ,采用 无 信息 先 
验 分 布 鳃 来 僵 多 . 连 经 典 统计 学 者 隘 认 为 无 信息 先 验 是 “客观 * 的 ,可 以 
接受 的 ,这 也 是 近 几 十 年 来 Bayes 学 派 研 究 中 最 成 功 的 部 分 . 


3 5.5,4 多 层 先 验 分 布 


当 所 给 定 先 验 分 布 中 超 和 参数 难于 确定 时 ,可 以 对 想 参 数 再 给 出 一 
个 先 验 ,第 二 个 先 验 称 为 超 先 验 . 由 先 验 和 超 先 验 决 定 的 一 个 新 先 验 就 
称 为 多 层 先 验 . 下 面 的 例子 可 以 帮助 我 们 理解 多 层 先 驻 的 想法 和 做 法 . 
例 5.39 设 对 某 产品 的 不 合格 上 品 率 了解 其 少 ,只 知道 它 比 较 
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小 , 现 要 确定 8 的 先 验 分 布 ; 决 策 人 经 过 反复 思考 ,最 后 把 地 引导 到 多 
晨 先 验 上 去 ,他 的 思路 是 这 样 的 . 

(1) 开始 他 用 区 间 (0,1) 上 的 均匀 分 布 (0.1) 作 为 8 的 先 验 分 
布 ， 

(2) 后 觉得 不 屎 ,因为 此 产品 的 不 合格 品 率 8 比较 小 ,不 会 超过 
0.5, 于 是 他 改 用 区 间 (0:0. 5) 上 的 均匀 分 布 C0,0.5) 作 为 的 先 验 分 
布 . 

(3) 在 -次 业务 会 上 不 少 估 对 上 限 0.5 提 出 各 种 意见 ,有 人 间 : 
“为 什么 不 把 上 限定 为 0.4 昵 ?” 他 讲 不 清楚 . 有 人 建议 :“ 上 限 很 可 能 是 
0. 1”, 李 也 无 把 握 , 但 这 些 问题 促使 他 思考 ,最 后 他 把 自己 的 思想 理 顺 
了 ,提出 如 下 看 法 当 的 先 验 为 芝 人 0 ,其 中 是 超 参 数 ,要 确切 地 定 出 
4 是 困难 的 ,得 预测 出 它 的 区 间 倒 是 有 把 握 的 ,根据 大 家 建议 ,他 认为 4 
是 在 区 辣 (0.1,0.5} 上 的 均 负 分 布 (0.1,0.5). 这 后 -个 分 布 被 称 为 
超 先 验 , 奖 策 人 的 这 种 归纳 获得 大 家 的 符 许 . 

.(4) 最 后 决定 的 先 验 是 什么 呢 ? 根据 决策 人 的 归 钠 ,可 以 斤 述 为 如 
下 两 点 . 

EA 

ba 的 超 先 验 为 rz 一 CO0. 1 ,0,5). 

于 是 用 边际 分 布 计算 公式 ,可 得 8 的 先 验 为 
xb) 一 | (8iDmCDah 
其 中 4 是 超 参 数 14 的 取 值 范围 .在 这 个 例子 中 
rt0) 一 oi 
其 中 DC) 一 1, 当 BE4 ,否则 (9 一 0, 分 几 种 情况 计算 上 述 积分 ， 
当 0<9<<0.1 时 ， 


Mn. 5 
| AT (DA 
血 - | 


由 .5 
rp) = 寺 | aA-idaA = 2. 5ln5 = 4. 0236 
dO. Jol 
当 0. 1 过 80.5 时 ， 
BB 
X(N = 2.5 [ A1d4 = 2.5[n0.5— 1n8] =— 1.7329— 2. 5lng 
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当 0.5<28 时 ,r(9) 一 0. 
综合 上 述 , 最 后 得 到 的 多 层 先 验 ( 见 图 5. 9) 为 


4.0236， 0 0.1 
x(8) = | 1.729 一 2. 5ln2， 0.1 扫 D<0.5 
0， 0.5 扫 上 <1 
天 (全 
4 
KY 
2 
0 0.1 人 .2 0.3 0G. 4 D.5 站 


图 5.9 8 的 多 层 先 验 


这 是 一 个 正常 先 验 . 容易 验证 | Cg)d8 一 1. 


从 上 述 例 子 可 以 看 时 一 般 多 层 先 验 的 确定 方法 : 
首先 对 未 知 参 数 0 给 出 -个 形式 已 知 的 密度 医 数 作为 先 验 分 布 ， 
即 2 一 tt) ,其 中 是 超 参 数 ,4 是 其 取 值 范围 . 


由 此 可 得 多 层 先 验 的 一 般 表现 形式 
(的 一 [Cb A 


而 任 一 个 Bayes 分 析 都 是 对 x( 人 站 进行 的 . 

缮 该 说 明 在 理论 上 没有 限制 多 层 先 验 只 分 尖 步 ,可 以 是 三 步 或 更 
多 步 ,但 在 实际 应 用 中 多 于 两 步 的 先 验 是 罕见 的 ,对 第 二 步 先 验 x; CA) 
用 主观 慨 率 或 用 认 忠 数据 给 出 是 有 困难 的 ,因为 4 常 是 不 能 观察 的 ,其 
至 连 问 接 观 察 都 是 难于 进行 的 .很 多 人 用 无 信息 先 验 作为 第 二 步 试 验 
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是 一 种 好 的 策略 . 因为 第 一 步 先 验 即 使 决定 有 偏差 .而 导致 错误 结果 的 
危险 性 更 小 -一些 ,相对 说 来 ,第 一 步 先 验 更 为 重要 些 ， 

铬 层 先 验 常 常 是 在 这 样 一 种 场合 使 用 , 当 一 步 给 出 先 验 (9 没有 
把 握 时 , 那 用 两 步 先 验 要 比重 用 一 步 先 验 所 骨 风 险要 小 一 些 . 

例 5.40 设 有 mm 位 优秀 学 生 参 加 智力 测验 ,第 7 位 学 生 的 考分 X， 
可 看 作 来 自 止 态 分 布 N(B, 中 ) 的 一 个 样本 ,其 中 台 足 第 i 位 学 生 的 能 
力 ,方差 是 已 知 的 . 这 个 说 明 对 1 二 1,2,…,m 都 适用 , 了 世 就 是 说 ,X1， 
广 ，…; 苇 。 层 来 自 方差 相同 ,均值 (能 力 ) 各 不 相同 的 一 个 正 态 样本 . 现 
要 寻求 zs 位 学 生 的 能 力 所 ,86,,….0, 的 联合 先 验 分 布 , 下 面 用 密 层 先 
验方 法 给 出 它 . 

按 经 验 , 这 mx 个 优秀 学 生 的 能 力 9 一 (8 , 如 ,….9.) 可 以 看 作 是 来 
自 某 个 正 态 分 布 NCpes,o7) 的 一 个 样本 . 因此 第 一 层 先 验 可 选 为 


1 1 wn 
(0911) = | C8, | 
"0| Cw Brio" 20s 之 和 


其 中 ,一 (mm 中) 是 两 个 超 参 数 ,对 超 参 数 po 依 过 去 经 验 可 认为 是 100， 
即 和 一 100:, 布 要 确定 m 具体 值 无 多 大 把 握 , 只 能 让 -个 上 大概 .真实 能 
力 的 方差 忆 肥 从 和 侧 Gamma 分 布 Ja 该 分 布 均值 为 200, 方 差 为 
io0, 由 倒 Ganmma 分 布 的 均值 与 方差 可 以 列 出 矩 的 方程 


i A 
zz 二 了 二 200 


A 一 一 100 
la i)te— 2) 


解 之 可 得 ,a 二 5,4 二 1000. 于 是 可 写 出 第 二 层 先 验 


1 1000° —10007e2 
CeBY Care 1 


综合 上 述 两 居 先 验 ,可 得 和 的 先 验 为 
(的 一 [mn 01a) ral oi) de? 


Ti) = Ci 


= | 1 1 到， ol 
| 《2 2 之 (0 100) 
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107 一 10908eo2 ] 2 
120¢a)™ de 
10' 人 
120027)" | CD 2 


exp | — 57| 1000 十 一 二 > — 100): "| qs 


10' , 
120C2x)™? 
" 3 
8 
1 区 ， +m 
| loo 十 方 2 6 一 109) ] 
"| 于 | 时 Se- 
TI637C2000m 3 26006 
这 基 人 和 什么 分 布 昵 ?一 般 的 mw 维 t 分 布 的 密度 函数 为 
上 (| 富有) 
1 2 十 "| 


l2+m 
2 


100): | 


| 

| 2 1 . 
一 一 一 | 十 一 (YT 一 由 /2 (Xx 一 四 
CdetD Cer)™aT| 3| [ “ | 
其 中 参数 上 是 其 自由 度 , 向 量具 为 位 置 参 数 身 量 , 和 宇 阵 三 是 其 尺度 矩 
阵 . 并 日 +EER",a>0,HER”,2 是 pXp 阶 正定 甜 阵 ,; 对 腿 上 述 m 崔 并 
分 布 .可 以 看 出 ,这 里 所 得 到 的 先 验 密度 (站 是 a 一 12,p 一 {100,*…， 


100) ,5= | 1 的 维 上 分 布 的 密度 函数 . 这 种 先 验 分 布 要 一 步 依 
据 土 观 信念 和 历史 数据 获得 是 很 困难 的 ,甚至 很 难 想到 . 多 层 先 验 的 这 
个 优点 特别 明显 . 

3$5.5.5 可 情 域 


Rayes 分 析 中 另 -- 个 常见 的 推断 形式 是 确证 参数 的 可 信 域 , 它 是 
利用 样本 之 和 获得 的 后 瞪 分 布 xi8|z) 在 参数 空间 全 中 寻找 一 个 区 域 
C,, 使 得 其 后 验 概 率 Ps (eeEC) 尽 可 能 地 大 ,而 其 容量 vol lC,) 尽 可 能 


_ 土生 
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地 小 ,其 中 vol 是 volume{ 容 量 ) 的 前 几 个 字母 , 这 些 要 求 可 用 如 下 损 
失 画 数 表 述 出 来 . 
LGC) = mvol tt) + ms[l 一 到 (2)] 
其 中 mm 与 ms 是 两 个 权 数 , 丝 汶 正 . 它 表示 决策 者 的 重视 程度 ,天 是 区 
域 C 的 示 性 函数 . 其 后 验 网 险 就 是 
Es LO(8,C,) = mEgsLvol C1] 十 ms[l 一 PoECo)] 

上 式 中 第 一 项 是 与 平均 容量 (精度 ) 成 正比 的 量 , 第 二 项 是 与 8&0, 的 
后 验 概率 (可 靠 产 ) 成 正比 的 基 . 要 使 后 验 风 险 最 小 就 要 求 上 述 两 项 都 
很 小 ,这 是 很 难 敌 到 的 . 因为 实践 告诉 我 们 ,这 两 项 要 求 是 矛盾 的 ,一 个 
常用 的 折 刘 方案 是 在 后 验 概率 Po -EC 达到 一 定 更 求 下 ,尽量 使 平 
均 容 量 尽 可 能 地 小 . 这 就 产生 如 下 最 太后 验 密 度 (Highest Posterier 
Density ,简称 HPD) 可 信 域 的 概念 ， 

定义 5.13 设 参 数 8 的 后 验 密度 函数 为 x(8|x), 对 给 定 的 样本 x 
和 概率 1 一 at0<a<i1) ,车 在 参数 空间 上 存在 这 样 的 区 域 C., 并 满足 下 
列 两 个 条 件 

(PC 一 as 

Gi) 托 给 中 EC, 和 如 #8,; 蕊 有 

TO x) tb, x) 

则 称 Cz- 是 可 信 水 平 为 1 一 a 的 最 大 后 验 密度 可 信 域 . 简称 为 (1 一 a) 
HPD 可 信 域 . 在 6 为 一 维 场合 ,车 CC; 是 一 个 区 间 , 则 叉 称 C; 为 (1 一 a) 
HPD 可 信 区 间 ， 

从 荆 述 定义 可 见 , 寻 找 人 一 oHPD 可 并 域 就 是 要 在 昌 中 寻 揽 形 如 

C= {8x(0|z) Cr) ,0 EE 

的 区 域 ,其 中 用 (a) 是 使 


PC 一 人 
成 立 的 最 大 常数 .在 连续 场合 ,可 能 有 Per(C-) 一 1 一 “. 在 离散 场合 ,可 
能 是 Pos(C.) 守 1 一 a. 当 旨 为 一 维 参数 时 ,后 验 分 布 呈 单 妖 状 可 得 HPD 
可 信和 区 间 ( 图 5. 10t4)), 在 离散 场合 ,可 能 得 到 几 个 不 由 连结 的 区 间 组 
成 的 HPD 可 信 域 (图 5. 10(6)) 
例 5.41 设 蔷 , 鲜 ,,… ,XX, 是 来 自 正 态 总 体 入 (8,0:) 的 一 个 样本 ， 
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和 (人 | 工 ) me ley 


Rem) kta) 


i i Ce 站 


(四 单 峰 (7 双 凡 :=CrUjcs 


图 5.10 可 信 区 间 与 可 信 域 


其 中 ogo 已 知 . 正 态 均 值 8 的 先 验 分布 是 和 Nip.r) ,其 中 与 人 已 知 .在 
例 5.26 中 已 于 得 吕 的 后 验 分 布 为 wma ,其 中 

上 一 加， R= {or ) ! 
为 样本 均值 ,0 二 e/an, 如 今 要 求 正 态 均 秆 8 的 旨 一 路 可 信和 区 间 . 

由 于 后 验 分 布 NOa,03) 的 对 称 性 ,8 的 (一 YHPDP 可 信和 区 间 和 容易 
获得 , 它 是 [jy 一 下 aja3 后 十 011_azj] ;其 中 zi 是 标准 正 态 分 布 的 
1 一 a/2 分 位 数 . 

在 儿童 智商 调 验 ( 见 例 5. 31)? 中 ,区 100) 9 一 MKC100。225). 
在 侈 取 -个 样本 ‘nn 二 1) 情 况 下 ,算得 一 儿童 智商 8 的 后 验 分 布 为 
Nm ,其 中 

j= 400 十 3z ， 
13 
该 儿童 在 一 次 智力 测验 中 得 x 二 115 分 . 在 平方 损失 函数 下 8 的 贝 叶 斯 
估计 为 8 一 110. 38. 如 令 来 求 8 的 0,95 可 信 区 间 . 由 于 mms 一 1.96, 故 
可 算得 


ot = 69. 23 — (8. 32): 


一 四 to 一 110.38 一 8.32X1.96 一 94.07 
p21 cio.875 = 110.38 + 8.32 X 1.96 = 126.69 
该 儿童 智商 8 的 9.95 可 信和 区 间 为 [C94. 07,126. 69] ,该 区 间 长 为 32. 62. 
例 5.42 设 zi…ze 是 来 自 正 态 总 体 NN(9,0) 的 一 个 样本 ,车 取 
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Jeffreys 先 验 分 布 , 即 
rt0.o} = 
则 甚 后 验 分 布 为 


1 ge | 
i? (EC 玉江 下 


tO oF) og "texp [一 


nr- A) | 
20° 
其 中 到 二 六 mn 一 > (zi 一 4)*/(n 一 1). 现 来 分 别 等 提 9 和 
0 的 HPD 可 信和 域 . 首先 我 们 求 #6 的 边际 分 布 
[s2 十 nto - da 
本 


开 《 昌 | 下 CC | ei-exp 
入 


上 述 被 积 芽 数 是 倒 Gamma 分 布 IGCa,A) 4 一 也 14 一 [s+n(g—x):]/2 
的 核 , 利用 正则 性 ,可 得 


tnt—1 


nF) ec [Ls 十 下 (8 — Hoe | 十 | 二 三 | 
Yi 2 


这 是 如 下 … 般 上 分 布 ( 习 题 1. 18? 的 核 , 生 由 度 为 "位置 参 数 为 ER， 
尺度 参数 为 rE R' 的 一 般 : 分布 的 密度 函数 为 


r 2 “| 1 fy— KI] 
ppt) = [+ ER 
L 学 | VRT ， 
当 j= 二 0,r 二 1 即 得 5 变量 .这 里 车 取 
了 一 了 一 这 T 一 = 一 1， 
一 5 * 下 一 和 = B 


即 可 看 出 ;上述 86 的 边际 密度 是 一 般 : 分 布 .从 而 在 给 定 x 和 s 条 件 下 ， 
vn (8 一元) 


5 


它 的 位 一 a)FIPD 可 信 区 间 为 


1i(n— 1 


一 
一 :开赴 有 a 


3 
VA wn] 
其 中 丘 -是 Fa 一 1 的 1 一 sa/2 分 位 数 , 这 与 经 典 结 果 充 全 一 致 . 这 种 


和 ,一 Fa 
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现象 在 使 用 无 信息 先 验 分 布 时 常会 出 现 , 这 可 能 是 "无 先 验 信息 ”之 故 . 

其 次 ,我 们 来 寻求 天 的 边际 分 布 

no | i) ec 本 (mt es /2 | exp| . dg 

这 是 倒 Gamma 分布 GCayA0,a 一 (nn 一 1)/2,4 一 s:7? 的 核 . 从 而 有 
2 
这 与 终 典 结果 完全 一 致 ,由 于 它 是 偏 正 态 分 布 , 寻 求人 (1 一 c)HPD 可 信 
区 间 要 借助 计算 机 才能 实现 . 

当 后 验 密度 zx) 为 一 维 单 峰 连 续 函 数 时 , 寺 求 8 的 (1 一 oyHPD 
可 信 区 间 的 数值 计算 一 艇 可 按 下 述 思 路 进行 . 

1? 对 给 定 的 ,建立 子 程序 ;以 方程 

区 (有 | 工 ) 一 天 


3 -， 
a ‘Cra 
全 


可 解 得 六 (8 和 BA) ,使 
CE) = {0,r(0 7) Sk} = [0 (Ek) .8,(8)] 
2" 建立 子 程 序 , 用 来 计算 概率 
Py CY |x) = | 国 


3 对 给 定 的 上 ， 

车 Pa (CC 于 1 一 ar 则 CE) 即 为 所 求 的 IIPD 订 信 区 间 ; 

若 Pac(COA) rm1 一 a 则 增 大 有 ,转生 与 2 

若 Pore(CCR x 二 1 一 则 减 小 5, 转 入 1 年 2， 

例 5.43 在 例 5.32 中 已 确定 彩电 平 娩 寿命 8 的 后 验 分 布 为 倒 履 
玛 分 布 IG(1.956,42 868). 现 求 # 的 可 信和 水 平 为 0.90 的 最 大 后 验 密 度 
CHPD} 可 信和 区 间 . 

解 : 为 简单 起 如 ,这 里 的 1.956 用 近似 数 2 代替 ,于 是 8 的 后 验 密 
度 为 

mt} 一 AD 

其 中 7 表示 截 尾 样 本 ,4 二 42 868. 它 的 分 布 函 数 吕 以 表示 为 


多 ; ， 
Fl tt) = PIA) = | XB Se dp =i 1 + 2 ee -0 
[0 1 
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这 就 为 计算 落 人 可 信和 区 间 的 概率 提供 方便 . 

务 外 .此 后 验 密度 是 单 峰 函 数 ,其 众 数 Mod(91) 一 273 一 14 289. 
这 就 告诉 我 们 ,8 的 HPD 可 信 区 癌 的 两 个 端点 分 别 在 此 父 数 两 俩 ,在 
这 一 点 ( 众 数 ) 上 的 后 验 密 度 函 数值 为 


了 和 + 
(01D 一 好 | | eo= 


ei 又 42868 
这 个 数 过 小 ,在 以 下 的 计算 中 我 们 用 rx68| 四 来 代 蔡 xtV1) ,这 并 不 会 
影响 我 们 寻求 HPD 可 信 区 间 , 其 中 
Alt = 1 了 | {一 [有 | 
我 们 按 寻 求 HPD 可 信和 区 间 的 程序 1*~3" 进行 ,经 过 四 轮 计 算 就 
获得 8 的 0. 90 的 HPD 可 信和 区 间 (4. 735,81 1892?， 即 
P(A4.735 <0 < 81189|t) = 0.90 
具 剧 计算 如 下 :在 第 - 轮 中 ,我 们 首先 取 后 一 42 868( 由 于 它 大 于 
Mod《91z) , 故 一 定 可 当 作 可 信 区 向 上 上限 ), 并 可 算得 
Arf Bl |#} = 0. 367 879 
然后 在 计算 机 上 搜索, 发现 当 8 一 6.387 时 ; 即 247271" 一 6.7115 时 ,有 
Arf Bn | 划一 0.367877 
这 时 可 认为 如 [8 | 直 一 和 灵 [8) | 一 0.3679, 其 可 信 区 间 160)， 史 )) 的 
概率 为 
PIO OED|) = P(OEt) — PI < 90|7) 
= 0.73576— 0.009 38 = 0.726 38 
此 概率 比 0. 90 要 小 , 故 还 需 扩大 区 间 . 
在 第 二 轮 中 ,我们 取 及 : 一 85 736, 这 时 A/ 人 W2 一 0.5， 
Ari HP |#) = 0. 075 816 
然后 在 计算 机 上 搜索 ,发 现 当 ?二 4.632, 即 482 一 9.255 时 ,有 
Ar{ Ot} = 0.075 811 
可 以 认为 研 [如 上 一 ( 9229) = 二 0.0758. 其 可 信和 区 间 的 概率 为 
PIO SOE) = 0.909 800 — 0. 000 981 = 0. 908 819 
此 概率 又 比 0.90 大 一 点 ,还 杰 缩 小 区 间 ， 
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我 们 把 上 述 搜索 过 程 列 于 表 5.6 中 ,第 三 ,四 轮 也 列 出 ,从 最 后 的 
结果 可 见 ,(4.735,81 189) 是 8 的 0.90HPD 可 入 和 区间 ， 


表 5.6 HPD 可 悄 区 间 的 搜索 过 程 
amr | Pitt,) 


1 ， i 
A | eV80 =[ 1 十 名 je ( 卫 it) 


十 . 


0. 367 879 .735 ?59 
0 36 775 | .O05 483 0. 726 376 


0. 75 81f ,909 S00 
B=d. B32 . 255 0. 075 811 . DON 981 0. 908 819 


3 0. 087 630 -900 S60 
0. 087 651 . O07 191 0. B98 375 


0- 086 815 -90 189 
由 一 4 735 0. 086 838 -O01 177 0. 900 012 


在 寻求 参数 的 可 信 域 中 ,其 计算 昌 比 经 典 方法 简单 一 些 , 但 要 寻 
求 HPD 可 信 域 会 遇 到 一 些 困难 . 特别 当 HPD 可 信 域 不 能 联 成 - - 片 
(如 图 5. 1060) 所 示 ? 时 ,可 放弃 HPD 准则 而 用 相连 的 可 信 域 . 警 如 ,在 
8 为 单 人 参数 时 , 代 圭 (1 一 a}HPD 可 信 域 可 用 等 妊 的 可 信和 区 间 [CiCz)， 
Cr |, 使 得 

Pa Ce Cr) 一 Pastd C(x) = of? 

Berger 指出 号: 当 后 验 密 麻 函 数 出 现 多 峰 时 ,常常 是 由 于 先 验 分 布 与 观 
察 值 不 - 致 引 起 的 .问题 可 能 是 先 验 分 布 选择 不当 ,或 是 抽样 分 布 选 择 
不 当 引 电 的 . 认识 和 研究 此 种 抵触 信息 往往 是 重要 的 . 而 在 使 用 共 碟 先 
验 分 布 时 , 若 共 和 拔 先 验 分 布 是 单 峰 的 ,将 导致 后 验 分 布 也 是 单 峰 的 . 这 
时 若 右 抵 甬 信息 存在 就 被 撞 盖 了 , 故 要 慎重 对 待 科 使 用 共 思 先 验 分 布 . 
出 于 实际 需要 , 常 要 寻求 一 维 参 数 8 的 单 人 出 可 信和 限 这 也 得 放弃 
HBD 准则 ,把 满足 


Pid CT 1- a 
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的 Ci(z) 称 为 8 的 (1--a) 可 信和 下 限 , 满 足 

Put Cz) 1— a 
的 Cutz2 称 为 8 的 i1- ao 可 信 E 根 ,在 后 验 分 布 rt2lz) 为 连续 时 ,上 述 
两 个 后 验 概 率 可 以 达到 1 一 a. 

例 5.44 在 便 5. 32 中 已 确定 彩电 平 列 寿命 吕 的 后 验 分 布 为 倒 
Gamma 分 布 TGah) ,其 中 ae 一 1.956,4 一 42 868. 这 是 在 截 尾 样本 + 一 
《下 得 到 的 如 的 分 布 , 即 

lt ~ IG{a,M) 


由 此 可 得 
MO ~ Gal a 六 | 一 ¥:(20) 


于 是 的 90% 可 信和 下 限 为 
C2) = 2A/XE 20 
这 里 自由 度 7 一 2a 一 3. 912. 从 凡人 分 位 数 表 上 可 查 得 难 m(3)? 一 6.251， 
验 wo (4) 二 7.779. 用 线性 内 插 鞭 可 获得 近似 值 姑 …(3.912)ae7. 645， 
于 是 # 的 90%% 可 入 下 限 为 
2 X 42 868 


C20) = a5 


即 在 八 十 年 代 中 期 我 国 彩 电 平 均 寿命 的 90% 可 信和 下 限 为 11 215 小 时 . 

最 后 ,我 们 指出 , 当 9 是 pp 维 参 数 向 量 (p 守 2) 月 后 验 分 布 较为 复 
杂 时 ,可 用 第 六 章 叙 述 的 数值 模拟 方法 去 获得 可 信 威 ,也 可 用 疡 元 正 
态 分 布 近似 , 邯 


= 11 215¢h) 


TO A Nl ECO| rT), VartB| zx)! 
其 中 EI) 和 Vart8|z) 分 别 为 后 验 分 布 的 均值 向 旦 与 方 差 协 方差 
阵 . 由 下 可 导出 近似 的 可 信 域 . 
C= 8: (0 — Elzr)) FYartelz)] ‘(Oo ER)) Ep))} 
其 中 tp) 为 自由 度 为 户 的 驹 分 布 & 分 位 数 . 但 这 仅 在 大 样本 场合 才 
可 使 用. | 
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习 题 五 


5.1 某 单 位 指标 在 10 月 下 半月 完成 一 项 露天 作业 , 若 半 个 月 不 
下 十 可 按时 完成 任务 ,将 获 利 30 万 元 , 若 下 雨 则 要 所 12 万 元 .但 车 不 
开工 (不 论 太 气 如 何 ) 均 亏损 4 万 元 , 试 述 此 决策 问题 的 状态 集 寻 ,行动 
集 和 和 收益 矩阵 . 

5.2 茶 厂 购买 一 部 机 康 , 可 使 用 三 年 ,其 一 易 损 零 件 有 和 轩 件 供应 ， 
车 随机 床 购 涛 每 只 250 元 ,以 后 再 买 每 只 750 元 .在 购买 机 床 娃 应 同时 
购买 多 少 备件 为 宜 的 决策 问题 中 其 收益 函数 是 什么 ? 误 失 晒 数 又 是 村 
么 ? 车 已 知 三 年 内 最 于 需 4 个 备用 零件 , 写 出 其 收益 年 阵 与 损失 矩阵 . 

5.3 某 制 药 厂 试制 一 种 新 的 止痛 片 . 为 了 决定 其 投产 量 需 了 解 此 
种 新 此 痛 片 在 止痛 药 市 场 中 所 占 的 比率 如 是 客 少 9” 这 是 个 参数 估计 问 
题 * 若 恼 低 估计 吃 将 会 导致 供不应求 ,该 赚 到 的 钱 没 肥 赚 到 ,造成 工厂 
损失 ,但 偏 高 估计 8 叉 导 致 供过于求 ,造成 库存 增加 .资金 积压 ,影响 再 
生产 . 这 会 给 工厂 造成 更 大 损失, 厂 长 试 为 供过于求 引 逮 的 损失 比 殿 不 
应 求 引 起 的 损失 要 高 一 售 ., 假 如 损失 函数 与 18 一 al 成 比例 ,请 写 出 厂 长 
所 用 的 损失 两 数 . 

5.4 在 二 行动 线性 决策 问题 中 的 收益 函数 为 
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iB, md, a—ua 
QO = mp 和 二 
在 mr 六 wm 下 , 试 写 出 相应 的 损失 咕 数 ， 
5.5 在 缺少 损失 函数 信息 场合 ,可 用 参数 4 处 的 密度 画 数 值 ptxt 
I) 上 世 在 行动 a 人 处 的 密度 函数 值 p(xr1a) 之 间 的 及 离 来 度量 损失 ,如 下 
两 个 上 蚂 离 较为 常用 . 


0 和 的 了 调 ;Tetb,o)=E- ne 人 


| 1 tg ’ 
(2) Hell 距离 ;L060,a)= 二 二 EE， | pirlay |: 
ellinger II 这 2 le NA 1 
假如 一 N00,1), 证 明 ， 


了 era 一 去 (a 一 如) 


Zrfeea 一 1 一 exp 一 (一 及 78) 
5.6 设 X 一 10,1,2) ,在 其 上 有 一 个 二 项 分 布 族 15(2.9) :8 为 174 
或 34}. 苦行 动 空 间 取 为 4 一 1174304 一 四 . 试 与 出 所 有 的 决策 函数 . 
若 皮 损失 晤 数 
0， 4 一 几 
Lid,a) = 
1， 吕 入 用 
试 计算 每 个 决策 耳 数 的 风险 函数 ,并 对 它们 作出 比较 . 
5.7 设 瑟 ,，……,X。 是 来 自 正 态 总 体 NCp,o) 的 -个 样本 ,其 中 亚 
的 苦 汗 有 以 下 儿 种 


全 = 0 一 人 


六 1 了 i 
= 及 


下- 对 于 
试 在 搞 拓 函数 (07,69) 一 | 守 一 1} 下 分 别 计算 它们 的 风险 函数 ,并 作 
出 比较 . 

5.8 设 x 是 来 自 一 项 分 布 b(n,9) 的 一 个 观察 人 
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十 vn/2 
nn wn 
是 召 的 两 个 估计 . 试 在 平方 损失 下 出 较 它 们 的 风险 函数 . 

5.9 设 畦 ,… ,六 ;是 来 自 正 态 分 布 NCrpeo6) 的 -个 样本 ,其 中 到 
已 和 扼 , 在 给 定 显 著 性 水 平 & 下 ,对 假设 丛 验 问题 

To 对 

作 z* 检验 . 其 行动 空间 4= 1011},0 表示 接收 ,1 表示 拒绝 . 坛 在 损失 落 
数 


(x) 一生 ， B(x) 一 
寺 


ji2， 当天 二 Amoe 二 0 或 由 过 mca 二 1 
fra) 一 11 其 它 
下 计算 检验 的 风险 阴 数 . 
5.10 在 中 努 蛙 试 验 中 记 成 功 为 1, 失 由 为 0, 上 成功 概率 8 是 未 知 
的 ,但 各 有 两 种 可 能 8 一 17/4 和 58, 二 1/2. 
《12 通过 -次 贝 努 里 试验 结果 x 有 下 列 四 种 决策 隧 数 
Sx)= A r= 0.1 
0)= PP, 6,(1) = 8b, 
80)= 8， 1) 二 
GX)= 0 Xx=0.1 
若 吉 损失 本 数 


了 


下 -14 


0 = 172 


试 寻找 其 中 的 最 小 最 大 决策 图 数 ; 

{2) 道 过 两 次 由 努 里 试验 结果 之 和 二 xt 十 xz; 可 作出 信 个 央 策 王 
数 , 试 在 相同 损失 郧 数 下 了 寻求 其 中 的 最 小 最 大 次 策 闪 数 ， 

5.11 设 江 机 变量 光 服从 Poisson 分 布 PA), 其 中 4 仅 可 联 为 二 
1 和 宙 一 2 中 之 一 ; 现 倍 依据 一 次 试验 结果 xz 构造 如 下 两 个 决策 孙 数 作 
为 4 的 全 让 
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Se = 1， z= 0,1 
2 = 23 

6 C00) 三 1,6s(1) 是 随机 变 基 , 它 以 概率 2/3 取 1, 而 以 概率 1/3 取 2; 

(2) 也 是 随机 变量 , 它 以 概率 1/3 了 到 1, 而 以 枫 率 273 取 2; 最 后 (x) 

=2,x 一 3,4,.……. 

斌 计算 上 述 两 个 天 策 函数 的 风险 阔 数 ， 

5.12 一 只 饶 里 装 有 两 个 球 , 其 中 和 白 球 个 数 8 未知, 通过 返回 拉 
样 ,可 得 个 容量 为 2 的 样本 ,其 中 白 球 数 记 为 X. 据 此 定义 如 下 的 随 
机 化 决策 函数 间 Ce, 

当 针 ==0 时 ,有 了 B60) 一 0)=3/4,PG00; 一 1) 二 1/4) 

当 太 =1 寺 ,1) 二 1; 

当 XX=2 时 ,PC(6C2)=1)=1/4,P(8(2)=2)=3/4, 

试 计算 3(z) 的 风险 函数 . 

5.13 ， 设 半 ,，…, 买 。 是 来 自 二 点 分 布 1, 信 的 一 个 样本 ,在 平方 
损失 下 让 明 : 样 本 均值 去 是 台 的 容许 估计 ， 

5.14 设 已 是 来 自 Poisson 分 布 (的 一 个 样本 .在 平 
方 损失 下 证 明 ; 样 本 均值 下 是 4 的 容许 居 计 . 

5.15 设 和 …:X。 是 来 自 正 态 分 布 NG,1) 的 一 个 样本 ,在 平方 
损失 郑 数 下 证 朋 :样本 均值 过 是 4 的 容许 知 计 . 

5-16 设 8 是 - 批 产 品 的 不 合格 品 率 . 已 知 攻 必 为 01 和 .2 中 
之 一 .日 其 先 验 分 布 为 

nr(D. 1) = 0.7, x(0.2) -3 
假如 从 这 批 产 品 中 随机 取出 8 个 进行 检查 ,发 现 有 2 个 是 不 合格 品 , 求 
的 后 验 分 布 ， 

5.17 设 8 是 一 批 产品 前 不 合 榜 品 率 , 从 中 任 取 8 个 产品 进行 检 
验 ,发现 3 个 是 不 合格 品 .要 在 下 列 先 验 分 布 的 假设 下 ,分 别 求 上 的 后 
验 分 布 . 

(1) 8 一 TO 1)3 

1241 .67， DO<e1， 


(2 ~ Ant} 
0， 其 它 . 
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5. 18 设 革 As X 是 来 自 密度 函数 p(x 们 的 一 个 样本 .8 的 
先 验 分 布 为 x(8). 证 明 : 按 下 述 序 贯 方法 亦 可 求 出 人 的 语 验 分 布 : 

1 给 人 证 六, 的 观察 值 x 后 ;可 求 出 <t8|z Yocptr, 19)x(t0); 

2 把 xt8|z1) 当 作 旨 的 先 验 分 布 ,在 给 出 下 ; 的 观察 值 x; 后 ,可 求 
出 元 (8 zr oc ptr ond x); 

3 按 此 方法 重复 , 拒 工 一 步 的 后 验 分 布 作 为 下 - - 步 的 先 验 分 布 ， 
在 给 出 观察 值 zi 1xs,*… -1 后 本 得 xzyz ,ts-1) 最 后 可 得 

A x oe pr DAB rs Ta st, 1) 


5. 19 随机 蛮 量 服从 均匀 分 布 口 [9 一 广 .9+ | ,其 中 8 的 先 


验 分 布 为 (0,20). 假如 获得 区 的 一 个 观察 值 12, 求 8 的 后 验 分 布 . 
假如 连续 获得 其 的 6 个 观察 值 11.0,11.5,11.7,11.1,11.4,10. 9. 求 
9 的 后 验 分 布 . 

5. 20 设 随机 变量 总 的 密度 函数 为 


p(x19) 一 经， 0< zc 1 


(1) 假如 8 的 先 验 分 布 为 U0,1), 求 8 的 后 验 分 布 : 
(2 假如 台 的 先 验 分 布 为 
rt 有 = FF, OO 
求 绢 的 后 验 分 布 . 

5.21 验证 Poisson 分 布 的 均 秆 i 的 共 轻 先 验 是 (armma 分 布 . 

5. 22 ”验证 正 态 方差 o*( 均 值 已 知 }) 的 共 恩 先 验 分 布 是 倒 Gamma 
分 布 ， 

5.23 设 下 二 LX", 下 ,) 是 来 自 正 态 总 体 入 Cra,1) 的 一 个 样本 . 
假如 疡 的 先 验 分 布 为 N(0,r). 斌 分别 用 名 的 分 布 和 充分 统计 量 工 
二 > ,号 的 分 布 求 p 的 后 验 分 布 ， 

5.24 设 六 ~NC9, 严 ). 验证 8 的 共 轿 先 验 分 布 为 倒 正 态 分 布 , 倒 
正 态 分 布 的 密度 函 煞 为 


nilas er) oe l91 -exp (— ( 广 一 7y2e | 
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5,25 密 项 分 布 Mn 名) 中 参数 0 一 (0 下) 的 共 思 先 
验 分 布 是 Dirichlet 分 布 ,其 密度 函数 为 
Pa 十 oi 

Ta Ta) 
其 中 开 为 3 一 (9 一 (02 了 让 二 110. 守 0} 的 示 性 甫 数 . 

5.26 ” 设 革 团体 人 的 高 度 ( 单 位 :cm) 服 从 均值 为 8, 标准 差 为 5 的 
正 态 分 布 . 义 误 8 的 先 验 分 布 为 N(172.72,2.54), 如今 对 随机 选 出 的 
10 人 测量 高 度 , 其 平均 高 度 为 176. 53 cm. 

(1) 求 上 的 后 验 分 布 ; 

(2) 指出 长 为 2.5 em 的 区 间 , 该 区 间 内 的 点 的 后 验 密度 值 都 大 于 
区 间 外 的 点 的 后 验 密 度 值 ; 

(3) 汁 算 这 个 区 间 的 概率 . 

5.27 从 正 态 总 体 入 (8,2:) 中 糊 机 抽取 容量 为 100 的 样本 . 又 设 8 
的 先 验 分 布 汐 正 态 分 布 .证明 ;不管 先 验 标 准 差 为 多少, 后 验 标 淮 差 一 
定 小 于 1.5. 

5.28 设 和 XXX。 是 来 自 正 态 分 布 wa 的 一 个 样本 , 令 

:一 1720 又 设 (人 六 , 记 ) 的 联合 分 布 如 下 给 定 : 

1] 在 固定 名 时 ,9 的 条 件 分 布 为 内 (0 1720.74 

2 aA), 

求 (页 8) 的 后 验 分 布 rt 1 | Tl 人 

5. 29 某 人 每 天 早上 在 汽车 站 等 公 非 汽车 的 时 间 { 单 位 :分 ?服从 
均匀 分 布 UC0, 引 ,其 中 98 未知 ,假设 8 的 先 验 分 布 为 
[192/8, 中 1 
0, 如 一 4 
和 假如 此 太 在 三 个 史上 等 车 的 时 间 分 别 为 5,;3;8 分 钟 , 求 8 的 后 验 分 布 . 

5. 30 设 半 ). 苹 2，-… ,区 ,是 来 自 均 名 分 布 L(0; 人 ) 的 一 个 样本 . 又 
设 8 的 先 验 分 布 为 Pareto 分 布 ,其 密度 函数 为 

cg) -人 0 >> 8. 
0, 6 
其 中 参数 如 半 0,4 计 0, 和 证明:8 的 后 验 分 布 仍 为 Pareto 分 布 , 即 Pareto 


元 [有 Oa Oy) 二 


2 ||’ ,91.00) 


区 (有 3 一 
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和 分布 是 均 杂 分 布 CI0,O) 端 点 如 的 共 斩 先 验 分 布 . 

5. 31 设 和 参数 4 的 先 验 分 布 为 Beta 分 布 ,已 知 其 均值 为 1/3, 方 差 
为 1745 .请 确定 先 验 分 布 ， 

5.32 设 14 是 指数 分 布 Erp (中 的 参数 , 设 4 的 先 验 分 布 为 
Gamma 分 布 ,其 均值 为 0.0002, 标 准 差 为 0.0001, 请 确定 先 验 分 布 . 

5.33 设 敌 数 8 的 先 验 分 布 为 Gamma 分 布 , 若 已 知 其 上 ,下 四 分 
位 数 分 别 为 0.2 和 0.4, 请 确定 其 先 验 分 布 ， 

5.34 ” 设 随 机 变量 义 服 从 几何 分 布 , 即 

PX = = 0 — 0, k=01l,2, 
其 中 参数 8 的 先 验 分 布 为 均匀 分 布 U(0.1). 

《1) 苦 只 对 器 作 一 次 观察 ,观察 值 为 3, 在 平方 损 拓 聘 数 下 求 的 
Bayes 居 计 ; 

(2) 若 对 区 作 三 次 观察 ,观察 值 为 2,3,5, 在 平方 损失 函数 下 求 8 
的 Bayes 和 个 计 , 

5 .35 设 为 - 硫 客 的 服务 时 间 ( 单 位 :分 ) 服 从 指 元 分布 Ezrp(4)， 
其 中 未知, 又 设 4 的 先 验 分 布 是 均 俏 为 0.2, 标 难关 为 1 的 Gamma 
分 布 . 如今 对 20 位 顾 窜 服务 ,平均 服务 时 间 是 3. 8 分钟 . 在 平方 损失 天 
数 下 ,分 别 求 1 和 8 一 4 :的 Bayes 生计 . 

5 36 设 在 1200 英尺 长 的 磁带 上 的 缺陷 数 服 从 Poisson 分 布 ,其 
均值 未 知 , 又 设 如 的 先 答 分 布 为 Gamma 分 布 Ga(3,1). 对 三 盘 磁 带 作 
检查 ,分 判 发 现 2.0,5 个 缺陷 .在 平方 损失 函数 下 , 求 56 的 Bayes 佑 计 ， 
并 求 其 后 验方 差 

5.37 设 叶 ,和 是 来 自 Poisson 分 布 Pi 的 一 个 样本 , 叉 
设 4 的 先 验 分 布 是 均值 为 证 的 Gamma 分 布 .证 明 :4 的 后 验 均值 是 如 
下 的 加 权 平 均 


ra Cl ri po 
并 且 当 mn 一 时 有 + *1， 
5.38 没 乡 是 不 合格 草率 , 它 的 先 验 分 布 为 Beta 分 布 Be(5,10). 
(1) 假如 随机 检查 20 个 产品 ,只 发 现 1 个 不 合格 品 . 在 平方 损失 
西数 下 求 2 的 Bayes 合计 j; 
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(2) 在 检查 2C 个 产品 中 ,不 合格 吕 为 多 少时 二 使 后 验 网 险 最 大 ? 
格 曲 为 多 少时 才 使 后 验 风 险 最 小 ? 这 项 讨论 培 相 平方 损失 函数 下 


mi 


不 
进行 ， 
5.39 设 于 ,,Xz…:X。 是 来 自 正 态 分 布 N (4.2) 的 一 个 样本 ,#8 
的 先 验 分 布 也 是 正 态 分 布 ,其 标准 差 为 1. 在 平方 揭 失 函数 下 ,最 少 要 
取 志 少 样品 才能 使 如 的 Bayes 估计 的 后 验 风 险 不 超过 0. 01? 
5.40 设 生 和 :是 来 自 指数 分 布 rp iA) 的 一 个 样本 ,其 
中 4 的 先 验 分 布 为 x(. 误区 是 站 在 平方 损失 函数 了 工 一 (4 一人: 下 的 
Bayes 个 计 . 再 命 9= 习 ,在 平方 损失 耳 数 工 一 (9 一 们 * 下 ,8 的 Bayes 个 
计 记 为 上 ,证明 ; 人 让， 
5.41 庶 晶 是 一 个 城市 中 成 年 人 赞成 “公共 场所 禁止 吸烟 ”的 比 
例 , 对 8 的 先 验 分 布 两 位 统计 学 家 有 不 同 的 建议 ; 
Azad) 一 298， 0 二 有 < 
zaf8) = 4, OL1 
随机 抽样 调查 了 该 城市 中 1000 名 中 年 人 ,其 中 右 710 位 投 先 成 票 . 
(1) 对 A 与 吾 分 别提 出 8 的 后 验 分 布 ; 
C2) 对 肌 与 吾 分 别 找 出 8 的 Bayes 估计 ; 
(3) 证 明 : 在 获得 容 基 为 1000 的 样本 后 ,小 管 样本 中 投 竺 成 标的 
人 有 和 多少. 上 述 两 个 风 叶 斯 竺 计 之 差 外 会 超过 0. 002. 
5.42 ”证明 ; 在 损失 函数 


Kd—B, 当 六 二 

天 (人 一 们 ， Bi-A 

下 8 的 Bayes 司 计 是 后 验 分 布 x(8|z) 的 下 0 CK 十 下 分 位 数 . 
5.43 设 随 机 变量 基 一 NC(8,100) ,其 中 #6 的 先 验 分 布 为 NN (00， 

225), 在 所 失 函数 


LOD -4 


2(0 一 四， 


_ ul 
LAW) 一 | > 


下 求 呈 的 Bayes 估计 ， 
局 .生生 设 于 一 (CA, ,下 上 服 具 窗 项 分 布 Mn Ps ,2 其 中 请 
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zDD Xi 一 人 之 0,，》) ,2 一 1, 现 庄 求 参数 向 量 (91,… ,0.) 的 
Jeffreys 先 验 分 布 . 

5.45 设 弟 二 < ; 民 pj 一 和 (98,5) ,其 为 已 知 pXp 正定 阵 ， 
及 设 昌 的 先 验 分布 为 won 4 其 中 心 为 已 知 声 维 向 晨 ,4 为 已 知 户 X 
户 的 正定 阵 . 

(C1) 证明:8 的 后 验 分 布 仍 交 元 正 态 , 其 均值 向 量 鸭 x 一 2(2 十 
及} (x 一 让, 方差 与 浴 方 差 阵 汶 (2 ! 二 A471) 一 2 (A 十 1; 

(2) 在 正定 二 次 损失 函数 

LO = (EG— NOB— 6) 

下 寻求 8 的 Bayes 居 计 . 

5. 46 设 革 说 备 的 寿命 王 服 从 指数 分 布 , 其 密度 为 

pliT|) =Ae *, rz 0A>0 

对 同类 设备 作 r 次 观察 ,得 zx,… x, 如今 规 定 该 催 备 的 可 靠 性 为 
gi00) 一 e ,10 是 已 知 正 实数 .车 设 8 的 先 验 分 布 为 Gamma 分 布 
Gala,1/7),; 试 在 平方 损失 三 数 下 求 glto; 站 的 Bayes 估计 . 

5.47 设 了 一 N98, 中 ) ;其 中 5 已 知 , 着 已 知 8 为 订 , 其 先 验 分 布 为 
无 信息 先 验 分 布 r( 的 一 To 人 试 求 其 后 验 密 度 沙 数 . 并 在 平方 损失 
靖 数 下 求 8 的 Bayes 销 计 . 

5.48 ” 设 有 一 批 产 品 ,其 不 合格 品 率 为 p. 若 将 每 N 忻 装 为 一 箱 . 
现 从 -- 箱 中 随 要 抽检 件 产品 ; 得 知 不 全 格 品 数 是 ~. 试 求 这 箱 的 不 合 
焙 品 率 g9 二 wi/N 的 Bayes 估计 . 其 中 避 是 这 箱 中 的 不 合格 品 数 , 假 如 
也 平方 损失 国 数 L(tw5) 一 (一 ww/N)?, 

5.49 设 玉 ~ 一 bta,p),0 达 志 之 1, 证 有 明 :8= 二 xz/n 在 损失 函数 LC(9,8) 
二 (8 一 O97 /041 一 站 下 是 的 最 小 最 大 估计 提示 : 先 验 分 布 取 均匀 分 
布 ). 

5.50 设 玉 一 Ni9,1) ;9ER, 证 明 : 在 -- 次 试验 下 .5(r) 一 x 是 在 
平方 损失 卫 数 下 的 最 大 最 小 情 计 . (提示 :86~N C0.r)) 

5.51 对 正 态 分 布 N(9,1) 观 察 ,获得 三 个 独立 观察 值 

人 一 2 一 3 一 1 

车间 的 先 验 分 布 为 N(3,1), 求 8 的 0.95 可 和 信 区 间 ， 
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65.52 设 碟 ,和 是 来 自 Poisson 分 布 王 (的 一 个 样本 , 根 
如 大 的 先 验 分 布 为 Gamma 分 布 Calas6),; 求 i 的 1 可 信 下 限 . 

5.53 设 瑟 ,和 是 来 自 均 习 分 布 140, 及 的 一 个 样本 ,其 
中 中 的 先 验 和 分 布 为 bareto 分 布 , 其 密度 范 数 为 
a 
etl? 
其 中 失守 0.a 记 0 是 两 个 已 知 常 数 . 

(1) 在 平方 找 失 王 数 下 求 8 的 Bayes 估计 ; 

(2) 求 #8 的 1-a 可 信 上 限 ， 

5.54 设 下 |,…, 玉 ,是 来 自如 下 Cauchy 分 布 C08,1) 的 一 个 样本 

ptr|D = Wor weERd>~>0 

假如 到 无 信息 先 验 分 布 (站 一 1,8>0. 寻求 8 的 后 验 分 布 ,假如 从 
C00,1) 获 得 5 个 观察 值 ;4.0,5.5,7.3;4.5,3.0. 试 给 出 8 的 95%HPD 
可 入 区 河 . 


Xx(0) 一 0 > 
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在 统计 煞 域 里 ,统计 计算 技术 近年 来 发 展 很 快 , 它 使 得 许多 统计 方 
法 ,尤其 是 Bayes 统计 得 到 广泛 运用 .下 面 我 们 介绍 一 些 基 本 的 计算 方 
法 以 及 最 近 发 展 很 快 的 一 些 计 算 技 术 . 


§ 6.1 随机 数 的 产生 


在 各 种 统计 计算 中 常 需 要 产生 各 种 概率 分 布 的 随机 数 ,而 大 多 数 
概率 分 布 的 随机 数 的 产生 均 基 于 均匀 分 布 U(0,1) 的 随机 数 .本 节 我 们 
首先 介绍 产生 各 种 分 布 随机 数 的 方法 . 基本 方法 有 如 下 .二 种 : 道 变换 方 
法 ,合成 方法 和 筛选 方法 . 然后 介绍 -- 些 特定 分 布 的 随 贫 数 产生 方法 ， 
此 椒 , 我 们 假定 读者 已 掌握 了 UC(0,1) 分 布 的 随机 数 的 产生 方法 . 事实 
上 ,UC0,-.) 分 布 随机 数 的 产生 在 大 多 数 计算 语言 (软件 ) 中 都 有 现成 的 
程序 可 油 用 ,另外 ,W040,1) 分 布 随机 数 的 产生 在 一 些 文献 "当中 有 详细 
的 介绍 . 

本 节 十 要 介绍 一 个 随机 数 的 产生 方法 . 一 般 人 情况 下 .xn 个 独立 随机 
变量 可 山 n 次 重复 抽样 获得 . 


$6.1.1 逆 变 换 法 


设 随机 变量 苹 的 分 布 函数 为 (x), 定义 
Py = intf{fr: F(A y}, OEwEl C6.1) 
则 有 如 下 定理 ， 
定理 6.1 设 随 机 变量 UU 了 服从 (0,1) 上 的 卖 名 分 布 , 则 大 = 
天 的 分 布 函数 为 Cr). 
证 有 明 : ”由 C6.13 式 和 均匀 分 布 的 分 布 洋 数 可 得 
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PIXE A)= PCE-IU) & 7x) 
= PU Fr)) = Fr) 
证 毕 . 
山 定理 6.1, 要 产生 来 明王 (z) 的 随机 数 , 上 其 览 先 产生 来 自 ZC0.1) 
的 随机 数 4, 然后 计算 下 1(xu) 即 可 .其 具体 此 又 为 
1 由 {10,1) 抽 轧 和 ， 
,2) 计算 工 一 下 -1Ce) ,其 中 下 -1 如 (6.1) 中 定义 ， 
例 6.1 设 革 一 Da 则 其 分 布 函 数 


《6. 2) 


0, TA 
Fn)= 3 arb 
1 ， 开 荆 血 


从 而 
Fy =a 二 CB ay，0 玉 yy 这 1 
车 由 (0,1) 抽 得 ww, 则 ag 十 (6 一 a)w 是 来 自 UG;5) 的 一 个 随机 数 . 
例 6.2 讽 和 :是 来 自 王 (2 的 一 个 样本 ,7 一 finf ov， 
天 ,我 们 要 产生 了 的 随机 数 , 当然 ,这 可 以 通过 产生 个 来 自己 (z) 的 
独立 变 基 并 求 最 小 值 来 得 到 ,但 这 样 做 是 不 必要 的 , 我 们 知道 ， 
Fi 一】 一 [一 天 (了 全 CC 
易 计 算 
一 站 一 PT 人 L 一 (1 0") 
应 用 {6.2), 可 直接 产生 来 自 Gty) 的 随机 数 . 艾 如 , 若 六 (zx) 一 x+， 0 
开 委 1 则 了 一 1 一 上 一 LI 站 后 由 于 1 一 六 与 和 这 辣 分 布 , 上 式 也 可 写成 
斑 .一 1 一 [0 
例 6.3 设 连续 随机 变量 三 的 密度 冰 数 为 
Cr) = 性 Xi 0 一 
0， 其 它 


其 中 CN, A 二 Tblab 可 为 无 穷 ): | ecz)qz 一 1 
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令 yp 二 | fod, i 二 J] 则 对 征 一 过. 今 1 二 maxt{j:Xxj; 气 
二 有 
F(T) = Pit cilx Oo— x;) 
由 F{ 芝 } 二 {7 可 解 出 
X= (~ pe 
此 处 7 满足 所 UU < 之 pi 具体 步 又 为 
(1) 产生 UC0,1) 随机 数 =， 
(2) 确定 i 使 p; 守之 pir 
|& 计算 二 十 (一 Xi. 


§ 6.1.2 合成 法 


合成 方法 的 应 用 最 早 见 村 Butier 前 书 习 中, 他 的 想法 是 ;如 果 蕊 
的 密度 函数 pC(z} 难 于 抽样 ,而 蕊 美 于 荆 的 条 件 密 度 函 数 户 (z|7) 以 及 
了 的 密度 了 两 数 gC(y) 均 易于 抽样 , 则 基 的 备 机 数 可 如 下 产生 . 
(1) 岂 了 的 分 布 gCy) 抽取 »， 
{6 由 条 件 分 布 p(x|y) 抽取 注 . 
可 以 证 明 i 呈 ,由 (6. 3) 得 到 的 瑟 服 从 plx), 
例 6.4 设 X 的 密度 函数 为 p(x) 一 > ao 户 Cr) ,其 中 请 m0， 
”a& 二 1,pi(x) 是 密度 函数 . 令 a 二 0, 由 合成 法 ,的 随机 数 可 如 下 
抽取 ， 


《6, 3) 


| 由 (0,12 抽取 #， 


| 确定 写 使 So 之 un 之 Sa， 
《3) 由 p(x) 抽取 工 

璧 如 ,pix 二 员 十 2r)76,0< 之 x 之 2, 其 分 布 沙 数 为 Fi) 一 (x 十 zx2)/6， 
若 用 赣 变 换 法 抽样 , 则 要 解 二 次 方程 .较为 麻烦 . 考虑 用 合成 法 ,将 
再 (Z 个 解 .Pt 一 172， Dr 疡 sf) 一 OI， 划一 
1/3， Qo 二 2/3, 由 (6.3), 结 合 道 变换 法 ,我 们 可 给 出 县 体 抽样 步 层 为 
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1) 由 UC0,1) 独立 地 抽取 zas， 


Zu2, a 17/3, 


2 i, Hl 2 1/3. 


(2) 计算 z= | 


86.1.3 仲 选 抽样 


做 请 我 们 要 从 Ptz)? 抽 样 , 如 果 可 以 将 p(T) 表示 成 户 (z) 一 c， 
h(x)。 gL) ,其 中 ht，) 是 一 个 密度 函数 且 易 于 抽样 ,而 0<<gCz) 扫 1， 
c 关 1 是 常数 , 则 大 的 抽样 可 如 下 进行 . 

[1? 由 UW0,1) 抽取 ;由 hCy) 抽取 y， 
402) 如 果 # 乏 g69); 则 zx 一 yy, 停 上 上 ， (6. 4) 
(3) 如 果 # 守 gC), 回 到 习 ). 
由 (6.4) 表 示 的 抽样 方法 称 为 第 选 抽 样 (Acceptance/Rejection 
Sampler) ,其 理论 依据 是 下 述 定理 6.2 

定理 6.2 设 芒 的 密度 沙 数 为 ptx), 征 p(x 一 c+ hr) g(r), 
其 中 导 1,0 之 gtr) 守 1,h(*，) 是 一 个 密 庭 函 数 . 令 1 和 Y 了 分 别 服 从 
U0 了 和 6). 则 在 上 ge(7) 的 条 件 下 ,Y 的 条 件 密 度 为 

p(TIU SE 4(Y)) = plr) 


证 明 ; 由 Bayes 公 起 ,注意 到 1/c 二 | gc (zydzx, 有 


PU ge) |Y = INCT) 
PI gtYyy 


_ PU < gC) h(x) 
JP Sgr) _ chrdr 


£, rh a sr))— 


BCTIR(TY 
[gracrydr 


一 ptr) 


证 毕 . 
应 该 指出 ,由 (6.4) 抽 样 有 两 点 很 重要 ,一 -方面 tr) 应 易于 抽样 ， 
男 一 方面 ,我 们 不 能 保证 抽 几 次 可 以 得 到 一 个 ptr) 的 随机 数 , 这 就 涉 
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及 到 关于 抽样 方法 的 效 的 问题 .所谓 效 , 措 的 是 平均 抽 儿 次 可 以 得 到 一 
个 随机 数 一 . 

下 xz 的 选取 有 允 种 方法 . 一 种 直观 的 方法 是 :如 果 存 在 一 个 冰 数 
ffzh 满足 pz Cr 是 e 一 | wmndz<eo. 令 her —= Mr re, 
则 fz) 二 cr) BragCr) 车 h(x) 易于 抽样 , 则 6.4) 变 成 

1C1) 由 0,1) 抽取 志 , 由 六 (yy) 抽取 >， 
4102) 如 果 十 硅 PCOOAM69), 则 工 二 ,停止 ， 《6. 5) 
1C3) 如 果 # 疡 POYYM(), 回 到 01). 

特别 . 若 XX 的 取 值 空间 有 限 , 璧 如 关 ~~pCr) ,一 下 4 和 TA 人 00， 
并 设 上 且 二 sup ptt) 存在 ; 则 可 最 ACr}y 一 1 一 a ec 一 MD 一 a) ,p(x) 
二 plz)/M.,t6.5) 简 化 为 

(1 由 (0,1) 独立 抽取 i, #2， 

(2) 计算 yy 了 一 2 十 mp 一 

(3) 如 果 志 守 gty) 二 pla 十 wt 他 一 20/M, 则 二 yy, 停止 ， 
(C4) 如 果 ww 半 gCy) ,加 到 (1). 


《6. 6) 
例 6.5 设 ptr 二 47 ,0 入 7 之 1, 此 处 MM 一 414 一 0,5 二 1 ,CX) 一 
1:g8 (Xx) 二 x 地 用 C6.6) 有 即 可 给 出 如 下 抽样 方法 ， 
《1) 由 局 00,1) 独立 抽取 zz yzs， 
(2) 著 志 和 雪 码 , 则 Xx 二 ws, 停止 ， 
(3) 若 mm 六 地, 转 到 (1). 
例 6.6 设 


上 ptr) = Fs lie, x (6.7) 
0<<a<c 1 已 知 .注意 到 
1 忆 TOa), O01 


4 
了 一 
Deo) 和 es“/Tla), 7x1 
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本 | MC)de = 《1ye /eT (ey < co 


| /ed 站 < 
A{tr) 一 
eflpae 二 ilirel， 1 
则 
[ex 中 < 之 二 :1 
gz 一 4 _ 
LL 1 。 | 
于 是 ,分 布 (6. 7) 的 随机 数 可 如 下 抽取 ， 
《1 > 由 (0,1) 抽取 ， 
(2) 由 ty) 抽取 >?( 可 使 用 道 变换 方法 ,见习 题 5. 2)， 
(3) 当 yY 《0,1 时, 如果 守 e > 则 xz 一 ?否则 转 到 (1)， 
民生) 当 yi] 时 ,如 果 关 后 财 工 一 否则 转 到 (>. 
第 选 搜 冬 方法 是 一 个 相当 重要 的 抽样 方法 , 它 可 解 尖 许多 难以 直 
接 抽 样 的 分 布 的 抽样 问 题 . 关于 筛选 抽样 的 进一步 讨论 查阅 有 关 文 
献 呈 ]， 


$6.1.4 连续 分 布 的 抽样 方法 


$5. 1.4.1 指数 分 布 的 抽样 法 
设 素 一 疡 (z) 一 人 178Je-ne1oo Er0 已 知 , 则 夸 /12 一 瑟 zpClhy 因 
此 ,我 们 只 需 讨 论 标 准 指数 分 布 rp(1) 的 抽样 方法 . 
对 元 一 站 4Cz) 一 ae so 由 道 变换 法 有 
U=FX)=1—e* 
即 
= 一 ln(i 一 Vy 
由 于 1 与 同 分 布 ,上 式 也 可 以 写成 下 ~ 一 ln ,于 是 给 出 如 下 抽 
样 方法 : 
1 C1》 由 如 00,1) 抽取 妈 ， 


号 C6. 
i(2) 计算 工 = 二 一 na. ) 
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由 《6. 8) 式 抽样 看 上 去 简单 ,但 因 在 计算 机 上 计算 自然 对 数 需 用 到 
级 数 展 开 ,每 得 一 个 指数 分 布 随机 数 都 要 用 到 一 次 级 数 展 开 , 是 较 费 时 
的 ,因而 效率 不 高 ， 

我 们 知道 ,标准 指数 变量 与 UU(0,1) 变 具有 紧密 的 联系 ,我 们 可 用 
之 于 同时 产生 多 个 独立 玉 zpkl) 变 量 ,这 用 到 下 述 4| 理 ， 

引 理 6.3 访 关 ery 六 ,Ys 了 ,1 是 来 自 忆 (0,1) 的 随机 样 
本 ,由 二 司 之 YD 是 了 下 YL 的 次 序 统 计量 . 记 了 一 0 一 1 
令 和 = (oo 一 YimCTT xD)，&=1， om, 则 2 yz。 独立 同 
分 布 ,服从 Exrp(1). 

证 明 ; 因为 Ww 一 一 2n( ] ,XD 一 x 关 (2n). 由 (Ys,… Ym_，) 与 
W 的 独立 性 和 次 序 统 计量 的 分 布 得 (Yoy ye ;WD)oc Cn 一 1)w” 
e 0<yD 人 yi 1 由 给 出 的 (ZU DZ. 到 (hb 
WW 变换 可 得 


< Zn) ve"! 
W = 2 37,, 1 ?二 用 
py BC Yn ss Yn 1 9) 2” 


所 以 可 得 (21,…,Z。)ccexp {一 3 "2;} ,证 毕 . 
由 引 理 6. 3, 我 们 可 给 出 下 述 抽样 法 : 


0》 由 U0,1) ,独立 抽取 22 一 1 个 随机 数 z pos 1， 

(2) 计算 = 一 ln(C1 wo， 

《3) 将 myaa 按 从 小 到 大 排序 , 记 为 $0; < yb， 

(4) 计算 二 Gy 一 Yew)7 ;其 中 yew 一 0D.ym 一 1. 

《6. 9) 

册 zl,… ,zz 屋 来 自 xp(1) 的 随机 数 . 

我 们 可 将 (6.9) 与 (6.8) 进 行 比较 . 若 我 们 要 机 x 个 Exp (1) 变 量 ， 
用 《6.8) 愉 要 抽 个 UC0,1) 变 量 ,但 要 进行 4 次 自然 对 数 的 计算 ,用 
(6. 9) 虽然 要 盾 2 一 1 个 00,1) 变 量 , 但 只 要 进行 一 次 自然 对 数 的 计 
算 , 然 而 ,用 (6.9) 还 要 进行 一 次 x 一 1 个 数据 的 排序 . 在 计算 机 上 的 实 
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际 运 行 表 明 , 用 (6.9) 一 般 要 比 (6.8) 快 , 雹 习题 6.7. 
指数 分 布 的 抽样 还 有 许多 其 它 方法 .有 文献 中 利用 筛选 法 等 给 出 
后 xzpt1) 的 另 黄 种 抽样 方法 ,此 处 从 略 . 


$6.1.4.2 正 访 分布 的 抽样 


基于 与 指数 分 布 一 样 的 原 凡 ,我 们 兵 需 要 讨 沧 标准 正 态 分 布 
NC0,1) 的 抽样 问题 ， 

Pox 和 Mulier 在 1958 年 给 出 一 种 用 变换 产生 N(0,1) 随 机 数 的 
方法 ''i, 其 理论 基础 是 下 面 的 引 理 . 

引 理 6.4 设 忆 Ca 是 独立 同 分 布 的 UC(0,1) 变 量 , 令 


X= (— 2nU,) ?cos(2nt,) C8. 10) 
XK, 一 《一 2nUYyvisin(2n,) C6.11) 
则 蕊 ,与 六; 独立 , 均 服从 标准 正 态 分 布 . 
证 阴 ; 见 习题 6. 8， 


引 理 6. 4 给 出 同时 产生 两 个 N(0,1) 随 机 数 的 方法 : 
1) 由 UC0,1) 独立 抽取 xiasz， 
2) 用 (6. 10),(6.11) 计算 zis 
N(0,1) 变 量 的 产生 有 许多 方法 . 比如 ,我 们 可 结合 合成 法 和 筛选 
法 抽取 和 N(0,1) 变 量 如 下 :首先 将 和 因 定 在 六 0 上 ,此 时 买 的 (条 件 》 
分 布 密度 画 数 为 


《6. 12) 


plz) = er, x0 (6.13) 


将 (6. 13) 改 写 为 pKCz) 一 cv Agz) gz) 其 中 ， 

c= Ve), hx) — er, gz 一 e DY (6.14) 
应 用 第 选 法 可 得 到 来 自 (6.13) 的 随机 数 ,其 中 第 选 条 件 为 Ug (YF) 一 
e012, 其 等 价 条 件 为 一 InU 汪 (了 一 1)?/2, 而 一 lnU 是 服从 标准 指数 
分 布 的 . 又 因为 对 N(0,1) 变 量 而 言 ,X>0 与 六 <i0 是 同等 可 能 的 ,于 
是 用 合成 法 可 得 到 N (0,1) 变 量 , 具体 步骤 如 下 : 
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(1) 由 Expt1) 独立 抽取 mvz， 
《2 车 1 六 《ma 一 17?/2, 进 人 C3), 否则 转 到 1)， 


3) 从 (C0,1) 宙 宇 ， «6. 15) 
! 人 如 果 志 志 0. 5， 

: (4} 一 

i 一 Vz。 邵 果 # 计 0. 5， 


N(0;1) 变 量 的 抽取 还 有 一 个 著名 的 近似 方法 , 即 用 # 个 Ut0,1) 
变量 产生 一 个 wii0,1) 变 量 ,其 理论 基础 是 中 心 极限 定理 ,抽样 公式 为 


二 和 2A 一 1/2) ,其 中 二 一 工 2 "是 抽 自 50,1) 的 随 


Ei 


机 数 ,在 实用 中 常 取 am=6 或 ma 一 12. 关于 NC0,1) 的 抽样 方法 的 进一步 
的 介绍 可 参阅 有 关 文 献 CTi4. 


6. 1.4.3 Gamma 分 布 的 抽样 方法 


Gatnma 分 布 ( 以 及 倒 Gamma 分 布 ) 的 抽样 在 统计 计算 中 扮演 了 
一 瞻 重 要 角色 .注意 到 , 若 买 一 Gaga ,刚玉 /AACGala,1), 因 此 只 需 
讨论 Geuka'1) 的 抽样 方法 . 
若 a 一 1,Ga(1,1) 妈 Exp(1). 它 的 抽样 方法 我 们 已 经 介绍 过 .车 a 
是 员 数 袜 , 由 可 加 性 不 难 给 出 Ca ,1 变量 的 抽样 方法 : 
107 独立 地 抽 mr 个 rp(1) 变量 关 … rm， 


[2 计算 z 一 了 Dr 
如 果 0<a<1 ,我们 在 例 6.6 中 已 经 用 筛选 法 给 出 广 Gatas1) 的 抽 
样 方 法 ,此 处 主要 介绍 a>1 且 a 不 是 整数 时 Gata,1}) 约 抽样 方法 . 
显然 .a>1 时 的 Gata,1) 变 量 可 以 转化 为 针 个 GatB,1),0<p<1 
变 量 的 和 ,就 是 说 , 找 一 个 整数 苔 (比如 区 二 al 十 1), 令 8 二 a/m, 风 
O08 之 1, 杆 是 我 们 可 以 产生 zr 个 Gat8B,1) 变 量 , 将 之 求 和 妈 可 得 到 一 
个 Caka'1) 变 量 .这 种 方法 是 每 重 的 ,尤其 是 ae 比较 大 时 ,可 以 想象 它 
的 效率 很 低 . 
Wallace 在 1974 年 构造 了 -个 筛选 方法 产生 CGata,1) 变 量 , 其 方 
法 如 下 : 设 pz 一 re Ta 记 和 一 La] 一 ar0< 记 < 令 


C6.16) 
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《一 下 


‘Ta 


g(x)= (#) + (iC— | 去 一 !| | - 
不 难 验 证 有 zz 一 cz glz), 由 此 给 出 Galea,1) 的 抽样 方法 : 
(1 由 00,1) 抽取 
(2) 若 7+ 之 pp; 抽 训 个 U0,1) 变量 和 ayzn， 
计算 2 一 一 ln( |[ wD, 转 到 (4)， 
J 3) 若 了 全 疡 , 抽 可 一 1 个 了 DC0,1) 变量 四 zi， C6. 17) 
计算 w= 一 In([] 4)， 
(4 由 060; 了 7) 扫 妈 , 车 # 入 Cwm 十 (vm 一 1)(1 一 py]!， 
则 z= 三 vv, 停 直 ， 
(5) 车 这 (vmmy?[1 十 tom 一 270041 一 pp)] 1, 转 到 51)， 


8 6.1.4.4 Beta 分 布 的 抽样 方法 


由 熟知 的 Beta 分 布 与 Gamma 分 布 的 关系 :车 XX 一 Gata,1),XX， 
一 Ga(B,1) ,民工 | 与 区; 独立 , 则 六 二 芽 /XL 十 了 一 BelasB) ,由 此 可 
给 出 Beta 分 布 的 一 个 抽样 方法 : 
(1) 由 Gate,1) 抽 zz ;由 GatP,1) 抽 xz;， 
{oy 计算 之 一 xz/ Cr 十 工 中 . 
如果 a,B 是 整数 , 设 Pere-1 是 来 自己 人 1) 的 随机 变量 , 则 
其 第 a 个 次 序 统 计量 Ui 服从 Be Cx,B) 分 布 ,从 市 可 得 到 它 的 随机 数 : 
1) 产生 a 十 -1 个 U00,1) 随机 数 Hi Hd Bi 
‘2) 特 Hl ta] 从 小 到 大 排序 , 记 为 于 1 
103) x = wo, 


对 一 般 的 ap, 最 简单 的 抽样 方法 或 许 是 逢 选 抽样 . 久 p(x)= 


RS T)A :由 求 时 不 难得 出 当 zo 一 (a 一 /Ca 十 8 一 2) 时 


(6.18) 
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tz) 达到 最 大 . 记 


ICa 十 Ba) oO— 1 a—l FE .1 B—1 
M = Ptro) = eT | a B— | [a 记 | (8,19) 


类 似 于 (6. 6) 式 ,Beta 分 布 的 抽样 步骤 如 下 : 
《1 由 UC0,1) 分 布 独立 抽取 2 as， 


(2) 如 果 坟 起 辣 Ft 一 way, 刚 之 二 ;停止 ， 


《3) 否则 , 回 到 (1), 其 中 对 由 (6.19) 确定 . 


《6, 20) 
若 (a 一 1)7 na 十 B--20<0, 最 大 点 在 0 或 1 达到 ,相应 改变 邓 , 上 面 的 方 
法 同样 可 行 . 当 无 最 大 点 时 (如 =1,8<1 或 a 过 1,8 一 1), 按 覆 分 布 产 
生 随 机 数 ( 参 考 例 6. 5). 


$6.1.4.5 其 它 连续 分 布 的 抽样 


一 般 的 抽样 方法 已 在 4,B,C 中 加 以 介绍 ,对 数 正 态 分 布 , 态 分 
布 守 分 布 以 及 已 分 布 的 抽样 均 可 由 正 态 分 布 的 抽样 导出 ,此 处 不 再 叙 
述 . 


$6.1.5 离散 分 布 的 抽样 方法 


设 六 为 一 离散 变量 ,其 概率 函数 为 
P(X=E)= pi k= 0 


记 色 一 spi， 一 0,1,… 又 设 U 为 UC0,1) 变 量 , 则 


Ey 
Plgi-l US) 一 | du = gi gi1= pi 上 =0,1,2,: 


其 中 g_; 二 0. 于 是 由 道 变 换 法 ,和 一 min :gx-1<U 二 pg4}: 具 体 抽样 步 
又 为 


(2) 着 # 委 时 , 则 工 一 天, 停止， 《6, 21) 
(3 著 z 人 Bo 今天 一 天 十 1, 转 到 (2). 
容易 计算 算法 C6.21) 的 平均 运行 次 数 为 


© 由 局 (0,1) 抽取 ,上 置 初 值 #* = 二 0， 
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* 411。 


C=1+ Dkpi =1+EX) 


是 一 届 


(6. 22) 


在 许多 场合 ,我 们 可 以 通过 攻 变 对 区 的 搜索 起 点 值 而 改进 算法 
(6. 21) 的 效 , 亦 妈 减 少 平 拘 运行 次 数 . 比如 我 们 可 自净 二 mlxm 为 众 数 ， 


中 位 数 等 ) 开 始 搜索 ,其 步骤 如 下 
C1) 由 己 人 ,1) 抽取 zz, 若 z 六 gm: 转 (42， 
(2) 下 二 mw 一 1 车 吕 六 gi3 则 工 二 上 ,停止 ,否则 
《3) 下 一 下 一 让 回 到 (2)， 
4) 大 二 mw 十 1, 若 # 筷 gi: 则 一 ,停止 ,否则 
(5) 下 二 上 是 十 1, 转 到 (4). 
不 难 春 出 ,车 抽样 结果 为 , 则 运行 次 数 为 
2 十 Cm 一下} 如果 是 二 0,1,"*m 
1 十 (一 如)， 如 果 下 一 外 十 1 二 22+ 
于 是 平均 运行 次 数 为 


C= 》1[2 十 (和 一 本]p 十 DY [1 4 Cm)]p 
k= 


= 二} 


{6. 23) 


= m+ Vp+1— Dp + Spm p, 


Cw 一 日 k=m—1l m1 


= (mt 18 十 王 一 亚 (1 一) 一 2 yp + EC(XY 


四 二 站 


=1+EX) 一 Ym) 


其 中 了 G9) 一 2 > ,kp 十 wm 一 《2m 十 1)gm. 如 果 Y(m)>0; 则 算法 


《6. 23) 比 (6.21) 有 效 . 下面 的 定理 说 有 明 什 么 情况 下 育 YOm) 汪 人 0. 


3] 理 6.5 在 上 述 场 全 下 ,车 存 在 m 汪 0, 满 足 


Po DLE — pl, ga S12 
二 上 


刚 了 C0m) 二 0. 


证 明 : 由 条 件 po 二 > (2k 一 1)ps, 有 


2 >) 六 一 gn > 


二 一 由 
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对 BrS172, 即 了 一 2m5u 之 0 由 此 即 有 Y(m) 0 

注 : 车 pp 过 > Pv, 则 有 po 之 >,C2k 一 10ps 成 立 ， 

引 理 6.6 记 mro 一 maxfm:gw 委 112) 如果 gw 二 gmti 扩 1, 则 
7Y(oz) 在 上 处 达到 最 大 ;如 果 gm 十 gi 六 1 则 Yl) 在 ro 十 1 处 达到 
最 大 . 

证 明 ; 由 YCm 十 1) 一 YOm) 二 1 一 gm 一 mii 六 见 ， 

例 6.7 设 苹 ~~bCn;p); 当 不 是 很 大 时 ,常用 的 抽样 方法 有 如 下 
几 种 ， 

(a) 变换 方法 . 由 二 项 分 布 的 可 加 性 ,XX 可 以 表示 为 # 个 二 点 分 布 
变量 的 独立 和 ,因此 ,我 们 可 以 先 产 生 w 个 5(1;p) 分 布 的 随机 数 , 然 后 
相 加 即 可 得 到 一 个 b(n,p) 的 随机 数 .具体 步 又 为 

C1) 产生 个 UC0,1) 分 布 的 随机 数 ev…，zv， 
1， wp, 


! } i 二 | 
(2 计算 工 人 


《3) 计算 = 一 Dx 
该 算法 是 十 分 简单 的 ,但 计算 其 大 , 需 产生 个 0.1) 分 布 的 随机 数 
并 懂 #n 次 比较 . 
(b) 逆 变换 法 . 应 用 逆 变 换 法 (6.21) 可 以 产生 5cn, 记 ) 随 机 数 , 其 中 


pr — py *, gC 之 WER 它 只 要 产生 一 个 
U(0,1) 随 机 数 , 平 均 运 行 次 数 是 1 十 np. 

(c) 改 进 的 道 变 接 法. 应 用 算法 (6.23) 也 可 以 产后 b(n, 思 ) 随 机 数 . 
若 取 说 为 中 位 数 , 则 可 以 算出 它 的 平均 运行 次 数 为 1.5 十 
VE/ Vap py. 

比较 几 种 算法 可 见 , 《6.23) 效 果 最 好 , 它 的 平均 运行 次 数 与 Yn 
成 正比 ,而 另 两 种 算法 的 平均 运行 次 数 与 4 成 正比 . 当 w 很 大 时 ,为 节 
鸥 运行 时 间 ,也 可 采用 止 态 近似 来 产生 bn, 户 ) 随 机 数 1， 
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86.1.6 项 机 向 量 的 抽样 方法 


在 用 Monte Carlo 等 方法 解 应 用 问题 时 .随机 向 量 的 抽样 也 是 经 
常用 到 的 . 苦 随 机 向 量 各 分 量 相 互 独 立 , 则 它 等 价 于 才 个 一 元 随机 变量 
的 抽样 ,下面 我 们 讨论 非 独 立 随 机 阿 量 的 抽样 ， 

设 XX 的 概率 密度 酒 数 为 

pir ste) = Pp CX) Palrs | 二 en pr tars [ye 1) 6.24) 
其 中 让 为 总 的 边际 分 布 密度 函数 ,ptzi | Zi_1) 为 给 定 1， 
,XX_ ;下 六 ;的 条 件 分 布 密 度 晒 数 . 
定理 6.7 设 Ui,*,0 是 独立 同 分 布 的 00,1) 变 者 ,XX ,XX 
是 方程 
五 (和 ) 一 UU, 
FOR | Ky KL) = Ui tm 2 
的 解 ,其 中 FF; 是 对 应 于 p; 的 分 布 画 数 , 则 瑟 :和 的 分 布 为 6. 24). 

证 明 : 类 似 于 定理 6. 1 的 证 明 , 略 . 

定理 6.7 给 出 了 随机 向 量 的 逆 变 换 抽 样 方法 : 

1) 由 U00,1) 分 布 独 立地 抽取 xz :as， 
人 用 方程 (6. 25) 解 zx"' ,区 i. 

由 于 联合 密度 函数 的 6. 24) 表 示 不 唯一 (事实 上 有 大 ! 种 天 示 ) ,而 
不 同 的 表示 得 到 的 方程 66. 25) 可 能 是 不 一 样 的 ,从 而 抽样 的 难 易 程度 
也 下 一 样 . 看 一 个 例子 . 

例 6.8 设 邓 ,, 芳 , 的 联合 密度 旺 数 为 
bz， 如 果 Zl 十 Ts 入 1 0 站 
0， 其 它 
我 们 先 将 PCriyzz) 写 成 CCz)asCrslzi) 的 形式 -此 处 瑟 的 边际 分 布 
密 诬 丽 数 为 


1—I 
pICED 一 | ‘px, ad 一 Br 一 xz)， 0 入 ZI 近 1 


而 给 定 六 ;二 x 下 X: 的 条 件 分 布 密度 函数 为 


CX rz 1 ee 
patxs |x1) 一 交合 全 区 = Ti OR Tl x 


C6, 257 


(6, 26) 


px Ta 一 | 
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相应 的 边际 分 布 范 数 和 杂 件 分 布 函数 分 别 为 
Fry 一 ed 一 3 一 2r13， 总 < 


5 


Flxo1x1) = [pC le = zl OERT1— a 
方程 (6. 25) 变 为 


3 2X? 一 六 
(6. 27) 
(1 | 一 Us, 
下面 我 们 再 将 pixri ,zs) 写 成 Patra)pitzi zw) 的 形式 ;其 中 
i--ry , 
P(xXs) = [ plxisTa dr = 30] — za)’, 0 sr 区 1 
Plx :Ts) 
PalX2) 


相应 的 边际 分 布 诡 数 和 条 件 分 布 晰 数 分 别 为 
F(z) = [pd 1 dx) 0Liel 


pit Ti | Ts) = 一 2T1(1 — X22) 0 三 Tl x 


F(x lx:)= | pC lrds 一 | 一 Xa) 2 0 所 i < 1 一 Ts 
而 方程 (6. 25) 成 为 
i (6. 28) 
XI — KX) = UU, : 
比较 (6. 27) 与 (6. 28) ,显然 (6. 28) 要 简单 得 多, 它 可 以 给 出 记 式 
解 : 
Ks=1— QU), X= (1— UIUY 
而 解 (6. 27) 则 图 难得 多 . 
对 服从 特定 的 分 布 的 随机 向 量 有 一 些 抽样 方法 ,我 们 以 猎 子 的 方 
式 介绍 才 维 正 态 变 量 的 抽样 . 
例 6.9 设 七 一 (服从 天 维 正 态 颁布 NitH;) ,其 窗 座 
函数 为 


PLAT) = (2r) “2 1 exp ~ 部 — DElr—n 
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就 处 jj 为 已 知 均 值 向 量 ,2==(6060)ix4 为 已 知 协 莽 阵 , |Z| 是 其 行列 式 ， 
我 们 知道 , 因 是 正定 对 称 烃 阵 { 此 处 木 讨论 奇异 情形 ), 故 存在 
下 三 角 阵 
[ey 0 … 0 


|ca Cs 0 


Ck] Ch re cu | 
使 得 
E= CC 
于 是 ,着 2 一 (ZZDO~NC0,410); 则 XY 一 CZ 十 pw~_Nitp 如 . 
Z 的 抽样 是 直接 的 ,关键 是 计算 C. 这 可 由 迭代 实现 . 首先 ,由 总 


一 CUZ1I 十 An :有 on 二 Yar(X1) 二 chiy 从 而 cn=Vou. 接着 考虑 | 
Rs 一 Cai2 十 catZa 十 ps 


于 是 ， 
aaz 一 Var(Xa) = ch ch 
Ciz 一 Cov(tX ,AX.) 
= ElecnZ (caZ, + cw22))] = ciicn 
从 而 给 出 
Cal 一 < 到 -2 
11 fa, 
I 
四 全 
Caa | os a 


如 此 进行 ,可 得 到 一 般 的 迭代 公式 : 


上 于 
Ei; Does 
Gil j= 1 (6.29) 
(5 一 Ze 
至 此 ,我 们 可 以 给 出 站 维 正 态 变量 的 抽样 步骤 : 
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2) 由 入 (0,1) 分 布 独立 抽取 大 个 随 视 数 EA 
(3) 计算 x= 二 Cz 十 上 其 中 , 二 (yp, 
作为 本 节 的 结束 ,我 们 指出 ,在 计算 机 上 用 数学 方法 产生 如 (0,1) 

随机 数 是 一 种 得 到 广泛 应 用 的 方法 . 对 此 ,出 于 如 C0,1) 分 布 的 随机 数 
的 产生 总 是 采用 某 个 确定 模型 进行 ,从 理论 上 讲 总 是 会 有 周期 现 稼 出 
现 的 , 而 月 , 初 秆 确定 以 后 ,所 有 随机 数 也 都 随 之 确定 了 ,不 满足 真正 随 
机 数 的 要 求 . 所 以 ,通常 把 由 数学 方法 产生 的 随机 数 称 为 伤 随机 数 , 然 
而 ,由 于 周期 很 长 ,在 实际 应 用 中 几乎 不 可 能 出 现 . 因而 ,人 们 还 是 把 这 
种 乙 随 机 数 当 和 作 真正 的 随机 数 处 理 . 另外 ,我 们 也 可 对 得 到 的 随机 数 进 
行 一 系列 检验 以 确定 它们 是 否 可 以 当 作 真 正 的 随机 数 和 1， 


3 6.2 随机 模拟 计算 


僻 握 了 各 种 分 布 变量 的 随机 数 的 产生 方法 以 后 .我 们 就 可 以 进行 
随机 模拟 计算 了 . 本 节 首 先 介绍 随机 模拟 计算 的 思想 ,然后 主要 就 如 何 
用 模拟 方 法 计算 定 积分 进行 讨论 . 


$6.2.1 统计 模拟 


随机 模拟 方法 也 称 为 Monte Carlo 方法 ,其 起 源 最 里 可 以 仍 潮 到 
18 世纪 下 半 呈 的 Buffon 试验 . 

例 6.10 在 1777 年 ,法 国学 者 Buffon 提出 用 试验 方法 求 圆周率 
天 的 值 .其 原理 如 下 :假设 平面 上 有 无 数 条 距离 为 ] 的 等 和 平行 线 , 现 
向 该 平面 随机 地 投 摔 一 根 长 度 为 ZU 所 ) 的 和 针 ; 则 我 们 可 以 计算 该 针 与 
性 一 平行 线 相交 的 概率 . 此 处 随机 找 针 可 以 这 样 理 解 : 针 的 中 心 点 与 最 
近 的 平行 线 间 的 距离 x 均 义 地 分 布 在 区 间 [0,1/2]1; 针 与 平行 线 的 
夹 艇 不 管 相交 写 愉 ) 均 多 地 分 布 在 区 周 [0， xj] 上 ( 见 岁 6. 1). 于 是 ;对 


与 缆 相 交 的 充 要 条 件 是 下 一 必 , 从 而 针线 相交 概率 为 


[oes 29) 计算 co 二 1 R= 1 + 


Fp 主 PtX 芝 . Ssing 一 | 户 主 dz dp = 2 
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图 6.1 针 与 钱 的 几 种 位 置 
根据 以 上 公式 ,假如 我 们 能 作 大 量 的 投 针 滤 验 并 记录 轩 与 线 相交 
的 次 数 , 则 由 大 数 定律 可 以 估计 出 针线 相让 的 概率 户 ,从 而 得 到 天 的 估 
计 秆 .上 记 史上 兽 有 几 位 学 者 司 过 这 样 的 试验 ,其 结果 列 于 表 6.1. 
表 6&.1 Buffon 试验 的 结果 
试验 者 时 间 ( 年 》 投 针 次 于 | 牛 交 次 数 * 生计 秆 
Wolf 1850 25032 | 3. 1359 56 


Smith 1855 . 3204 i1218 | 3. 156 65 


Fox 1884 .76 1030 | EG 3.159 51 


1.azzarinl 1925 .3 3.141 592 92 


应 该 指出 ,上 述 试验 的 精度 一 般 不 会 很 高 .譬如 ,假设 7 一 1, 则 了 一 
2/x, 由 中 心 极限 定理 ,车 试验 次 数 为 n, 则 p 的 入 计 卢 渐 近 服从 NCp， 
PQ 一 户 ) 7n) ,近似 为 NC0.6366,0.2313/x). 因此 , 若 要 以 95 铝 的 概率 
保证 户 精 确 到 三 位 有 效 数字 , 即 靖 与 刀 的 差距 小 于 0.001, 则 ”必须 满 
是 天 蒂 1.962 汉 曲 231370. 00012 二 8. 87 X10 表 6.1 中 Lazzarini 的 试 
验 次 数 不 多 而 精度 很 高 纯 属 巧 合 , 因 为 它 正好 与 祖冲之 的 密 率 355/113 
相等 , 事实 上 , 若 沪 试验 中 的 相交 次 数 和 相差 一 次 .都 会 对 ** 的 估计 带 米 
很 大 影响 . 比如 ,车 相 交 次 数 分 别 为 1807 和 1809, 测 x 的 估计 分 别 为 
3.143 331 和 3. 139 856. 
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可 以 看 出 * 上 述 试验 是 费时 费力 的 ,实施 起 来 是 困 难 的 . 然而 , 随 着 
计算 机 技术 的 快速 发 展 , 人 们 不 需要 具体 实施 这 些 试验 ,而 只 需要 在 计 
算 机 上 进行 模拟 试验 即 可 . | 给 定 1, 我 们 可 以 在 计算 机 上 随 


机 产生 工 和 9, 然后 判断 -二 一 ng 方 是 否 成 立 . 若 成 立 , 则 针线 相交 ,否则 


不 交 . 很 如 我 们 在 计算 机 并 立 地 产生 10 000 对 这 样 的 zz 和 gy, 并 记录 
一 一 去 玉成 立 的 次 数 , 记 为 no; 则 的 人 千 计 值 可 取 为 20 000 Xl/ne. 


二 5 
就 是 随机 模拟 的 计算 结果 . 

汕 上 述 例 子 可 以 奢 出 随机 模 氢 计算 的 思路 : 

(1) 针对 实际 问题 建立 一 个 简单 且 便 于 实现 的 概 座 统计 模型 ,使 
所 求 的 解 恰好 是 所 建 借 型 的 概率 分 布 或 其 某 个 数字 特征 ,比如 ,是 某 个 
事件 的 概率 ,或 者 是 该 模型 的 期 望 值 ; 

《2) 对 模型 中 的 随机 变量 建立 抽样 方法 ,在 计算 机 上 进行 模拟 试 
验 , 抽 取 足 够 的 随机 数 ,并 对 有 关 的 事件 进行 统计 ， 

(3) 对 模拟 试验 结果 加 以 分 析 , 给 出 所 求解 的 估计 及 其 精度 ( 方 
差 ) 的 估计 ; 

C4) 必要 时 ,还 应 改进 模型 以 降低 千 计 方差 和 减少 试验 费用 ,提高 
模拟 计算 的 效率 . 

在 上 述 模拟 试验 和 分 析 中 ,涉及 到 各 种 抽样 方法 和 分 析 方 灶 , 因 
于 ,这 里 面 必然 也 有 结果 好 坏 的 差别 . 本 节 后面 特 对 此 加 以 讨论 ,介绍 
一 些 改 进 结果 精度 的 方法 . 

Monte Carlo 方法 近年 来 应用 十 分 广 鞍 ,我 们 在 后 面 几 节 介 绍 的 
一 些 动态 Monte Carlo 方法 更 是 近年 来 发 展 最 快 的 统计 分 支 之 一 . 本 
节 骆 介绍 定 积 分 的 Monte Carlo 计算 . 

考虑 一 个 简单 的 定 积 分 


8 = | flr)dxr (6. 30) 


不 少 统 计 问 题 , 如 计算 概率 .各 防 矩 等 ,最 后 都 归结 为 定 积分 的 近 抽 计 
算 问 题 , 这 里 我 们 首先 介绍 两 种 求 吕 的 简单 的 Monte Carlo 方法 ,然后 
纵 出 一 些 较 复杂 而 更 有 效 的 Monte Carlo 方法 ， 
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4 6.2.2 随机 投 点 法 


考虑 (86. 30) 的 积分 . 简单 起 见 , 设 45 有限 ,0 和 f(x) 之 时, 令 和 们 二 
{0 y 和 ,并 设 ( 了 X,Y 了 ) 是 在 则 上 均匀 分 布 的 二 维 


随机 朗 量 , 共 联 合 密度 函数 为 识 B 一 77 了 srismwp. 则 易 见 9 一 


[feraz 是 名 中 曲线 y= 二 fz) 下 方 的 面积 ( 见 图 6. 2). 假设 我 们 向 六 


Wd 


图 6.2 
中 进行 随机 投 点 , 背 点 藩 在 y==Atz) 下 方 ( 即 y 过 f(z)) 称 海中 的 ,天草 
称 汐 不 中 , 草 点 中 的 的 板 率 为 p 一 8/M (5 一 a), 关 我 们 进行 了 n 次 投 
点 ,其 中 ,次 中 的 , 则 可 以 得 到 #8 的 一 个 估计 
外 — MG — a) 了 《6. 31) 
上 上述 思想 是 容易 实施 的 . 我 们 只 要 独立 地 产生 有 对 (wjsw), 其 中 
zz; 是 米 自 C01,1) 的 独立 随机 数 , 令 二 a 十 wi 一 07 二 Mw;; 然 后 
看 是 否 有 f(x) 这 yi 车 fz) 字 yi; 则 中 的 ,如 此 可 计算 出 中 的 次 数 0. 
共性 步骤 为 
(1) 独立 地 产生 2 个 0,1) 随机 数 :airi 一 1 
(23 计算 zx 二 a 十 (6 一 a),y; 二 Mvo;, 和 f(x;)， | 
C3) 统计 (zi) 之 yi 的 个 数 no， (6. 32) 
(4) 用 6. 31) 估计 吕 
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随机 投 点 法 的 想法 简单 明了 ,而 且 , 因 每 次 投 点 结果 服从 二 点 分 
布 , 故 避 一 (asp) ;其 中 一 6/M(5 一 a). 不 难看 出 ,所 是 中 的 无 偏 佑 
讨 , 且 其 方 甘 汶 


Me ey 


Var 而 ) 一 02) Vartne) 


一 机 Tax ay — 8] (6.33) 


由 (C6. 33), 若 用 合计 的 标准 差 来 衡量 其 精度 , 则 人 入 计 5 的 精度 的 阶 为 


—1i2 


Ei 


6.2.3 样本 平均 值 法 


对 积分 0 一 ee g(x) 是 (a, 了 上 的 一 个 密度 函数 , 收 写 


-ee 


可见, 任 _ 机 全 均 可 以 才 因 于 个 关机 要 量 ( 忆 天 ;的 期 昌 由 和 抢 法 ,车 
有 nn 个 来 自 gtz) 的 观测 值 , 则 可 给 出 8 的 一 个 矩 估计 ,这 便 是 样本 平 
均值 法 的 基本 原理 . 

最 简单 地 , 若 < 有限 ,可 取 g(x) 二 17t6 一 a). 设 1,"' ,Xn 是 来 自 
Ua; 想 的 随机 数 ; 则 6 的 一 个 逢 计 为 


0.— 1 A te df,) (6. 34) 
i it 


一 1 可 人 2 
其 具体 计算 步骤 为 
je 独立 地 产生 个 UC0,1) 随机 数 芭 ,i， 


grydx 一 E| 


2) 计算 一 十 Ch 一 A Ya 和 和 fxr) si — le sr {6, 357 
《3) 用 (6. 34) 估计 尽 
显然 ,大 是 8 的 无 候 估 计 . 我 们 也 可 计算 其 方差 . 


Yar( 记 ?一 var| 二 — a) 0 


= 二 | 人 5 一 a | Cr dr — 8] (6, 36) 
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= | — a&) | Fez)dz 一 8 | 


在 假设 0 达 fCz) 所 MM 下 ,可 以 证 明 , 对 相间 的 n, Var (C6) 所 
Vart#). 竺 实 上 


VartB ) — Var(B) 一 OM 一 a)— 8]— 
1 ?oe 
LG 2) | Fndz— 0] 


_ MG — a) Te r epaz] 


nn 


> Eo 一 | reoar|- 0 


nn 


而 且 , 只 村 [x;A(7) 达 MM} 不 是 罕 油 集 ;就 有 Var 人 (高)<<Var( 站 ). 由 此 ， 
样本 平均 值 法 比 随机 投 点 法 要 有 效 . 

从 上 述 介 绍 可 以 看 出 ,样本 平均 值 法 并 下 到 求 一 定 有 (x) 所 MM， 
它 可 推 1 至 一 般 情形 . 


$6.2.4 重要 抽样 方法 ‘Importance Sample) 


我 们 已 经 看 到 ,随机 投 点 法 和 样本 平均 值 法 邦 可 以 估计 (近似 计 
算 )8, 但 者 的 效 ( 方 差 ) 不 同 . 自然 ,人 们 会 进 -- 步 考虑 这 样 一 个 问题 : 
是 不 是 有 更 好 的 {Monte Carlo) 人 生计 方法 , 它 的 方差 比 生 的 方差 还 要 
小 . 这 大 Monte Carlo 方法 中 一 类 重要 的 研究 课题 . 即 考虑 一 些 降低 个 
讨 方 英 的 技术 . 本 小 节 开 始 ,我 们 介绍 几 种 这 样 的 技术 . 首先 介绍 一 种 
最 常用 的 降低 方差 的 方法 ;重要 抽样 法 . 


委 样本 平均 值 法 知 , 对 任 一 密度 画 数 s(x).9= | 二 ecz)dz 一 


FX) ， 
E[ ec5 | 因此 , 若 有 来 自 sz 的 样本 《随机 数 )z …zro 则 8 的 估计 


a 1 Ty fr) 
一 了 2 ery 《6. 37) 


9 显然 是 无 偏 的 ,其 方差 则 与 g(，) 有 关 . 阿 题 变 为 ,如 和 何 选择 gC(*) 鸽 
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得 如 的 方差 小 . 

从 理论 上 看 , 困 Var(9) 一 产 || 6 | 一 ] ,着 ACz)320, 取 
&(z) 一 87z)/9, 则 有 Var(8) 一 0. 因为 68 未知 ,这 个 结 代 是 无 用 的 . 然 
而 ,虽然 我 们 不 能 取 (Cx) 二 f(x)79, 但 它 也 给 我 们 一 个 启示 , 亦 即 ， 
gC) 与 Fr) 形状 接近 应 能 降低 佑 计 的 方差 . 这 便 是 重要 抽样 法 的 基 
本 思想 ， 

直观 地 看 ,(6. 34} 式 给 出 的 名 是 采用 均匀 抽样 , 诸 zx; 是 均匀 分 布 
的 随机 数 ,各 zx; 对 名 的 贡献 是 不 同 的 ,fCzi) 大 则 页 献 大 ,但 在 抽样 时 
这 种 差别 未 能 体现 出 来 ,因此 效 不 会 很 高 ,要 达到 同样 的 精度 项 要 的 抽 
样 次 数 多 . 而 重要 抽样 法 则 希望 贡献 率 大 的 随机 数 出 现 的 概率 大 ,贡献 
小 的 随机 数 册 现 概率 小 ,从 而 提高 抽样 的 效 ， 


例 6.11 考虑 一 个 简单 的 积分 9= | edzx. 此 处 6 的 精确 值 (e 一 


1) 是 可 求 的 . 为 说 明 重要 抽样 法 ,我 们 采用 Monte Carlo 方法 估计 局 
首先 考虑 样本 平均 值 法 , 即 :产生 可 个 UC0,1) 随 机 数 | ,I 


b= 2 1e", ECO)=0, 


Var(f) = 过 [ | eedz 一 (e — 1)] 


= 二 [二 (一 D) 一 (一 D5]= 


如 


由 重要 抽样 法 的 思想 ,我 们 要 选 一 个 与 e 相似 的 密度 函数 ,由 


Taylor 展开 式 ,e* 一 1 十 z 十 于 十 …. 利用 线性 近似 , 取 g(z 一 全 (1 十 


z); 则 8(Y) 是 i0,1) 上 的 一 个 密度 阔 数 . 设 Ti yy 是 来 自 g(x) 的 随 
机 数 , 刚 恬 的 佑 计 可 取 为 


四 1 - fr;) 3 [a 
b= gr 六 多 1 二 x 
也 是 8 的 无 偏 居 计 , 且 
Vartd) 一 1 | 
Ei 


td, 242 
Le 


1 r(x) 
0 gr 


Ce 22 
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-这 ae] 


二 9 (数值 计算 ) 
外 此 ,六 明显 优 于 六 
3 6.2.5 分 层 抽样 方法 


另 一 种 利用 贡献 率 大 小 来 降低 估计 方差 的 方法 是 分 层 抽样 法 . 它 
首先 把 样本 空间 DD 分 成 一 些小 区 间 Di yDm' 且 诸 DD; 不 交 , UD;== 
局, 热 后 在 各 小 区 间 内 的 抽样 数 由 其 贡献 大 小 决定 , 亦 即 ,定义 疡 一 


{feyqr, 则 ,局 ; 内 的 抽样 数 应 与 p; 成 正比 . 如 此 ,对 8 贡献 大 的 DD 
抽样 多 ,可 提高 抽样 效率 . 


革 虞 积分 9 一 上 /Cr)dz, 将 [o,1] 分 成 内 个 小 区 间 ,各 区 间 端 点 
记 为 和:0 一 ac <an 一 1 则 


9= {fcr)dz = 六 『 


il 


(rydx 全 > 
了 一 


记 了 一 ww 一 < 为 第 ;个 小 区 间 的 长 度 一 1 天 :在 每 个 小 区 间 
土 的 积分 值 1 可 用 样本 平均 值 法 估计 出 来 ,然后 将 之 相 加 努 可 给 出 8 
的 一 个 合计 .具体 步 又 为 : 

1) 产生 (0,1) 随机 数 {a;; ,I = yn = 1 pt}, 

lw 计算 ;二 a 十 yj 二 1mni 二 1 


3) 计算 一 守 台 fe 
于 是 可 得 到 8 的 枯 计 为 
六 一 > (8. 38) 
由 样本 平均 值 法 ,Ef 一 , 因 而 负 是 8 的 无 偏 估计 ,其 方差 为 


Var (6,)= Var{ > 和 Df | 


并 jel 
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一 3 到 《6. 39) 
加 i=1 od 
其 中 
:Cr) zz 
oo | -dz 一 | r C6. 40) 


例 5.12 再 看 例 6.11, 我 们 先 将 抽样 区 间 [0,1] 划 分 为 两 全 小 区 
间 ;[9,0.5) 和 [6.5,1],; 则 


1 = | edx = | 
了 > 一 | dr 一 ee 一 we 
过 一 | zeedz 一 4C0we — 1) 
一 (ee 一 1) 4Cwe 一 1)2 一 0.03492 
oi | 2e"dz ae Vey 


= {ee)-. 4{e— ye) = 0.09493 
设 一 共 抽 个 随机 数 , 其 中 在 [0,0.5) 上 抽 x 个; 则 使 用 分 层 抽 样 求 得 
的 色 的 方差 为 


2 
Var 一 人 -+ 3 3 
nn 一 ny 
对 求 导 , 易 知 在 n 圈定 下 ; 当 
2 | 0.034 92 
nn i 十 0 w0. 034 92 十 w0.094 93 
0. 186 87 0 377 53 


0.186 87 二 0.30811 
时 ,名 的 方差 最 小 ,为 


sary = -和 9015 
Vartfh,) = n /an 一 站 An n 


与 例 6. 11 的 结果 比较 ,有 < 35 0.242 


好 n 


如 果 我 们 将 区 问 进 一 步 分 细 ,; 比 如 将 [0,1]10 等 分 ,我 们 也 可 计算 
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庄 地 ,并 确定 最 优 的 抽样 次 数 分 配 岂 ja 一 a/ 3)”,o, 结 果 见 表 6. 2, 从 
而 给 出 分 层 抽样 法 合计 的 方差 为 0. 002 46/n, 它 远 运 小 于 的 方差 
0. 0269 /7n. 


表 6.2 10 等 分 [0,1]] 下 诸 受 和 x 


1 4 


0. 0009 。 .D1 


0. 0304 - .0410 


0Q. 0612 


6 


日 - D025 


OQ. 0501 


0. 1009 


分 赚 抽 样 法 可 以 降低 估计 的 方差 ,而 且 ,四 果 我 们 将 抽样 区 间 分 得 
足够 小 ,并 较 好 地 分 配 抽样 次 数 , 则 可 能 估计 方差 大 大 降 玫 .我 们 已 指 
出 ,分 层 抽样 法 的 估计 方差 为 (6.39) 式 ,车 诸 有 和 已 知 ; 则 不 蕉 证 
明 , 在 ”= 固定 下 , 当 


A 一 ntio/ | Sh,) 6. 41) 


时 ,估计 的 方差 达 最 小 ,其 最 小 值 为 二 (2245)* 

分 导 抽 样 法 有 两 个 主要 问题 ,其 一 是 党 样 划分 抽样 区 间 , 简 单 而 党 
用 的 方法 是 将 抽样 区 间 等 分 ; 另 一 个 问题 是 ,在 抽样 区 间 划 分 好 以 后 ， 
如 何 确 定 抽样 次 数 的 分 配 .《6. 41) 给 出 了 一 个 最 优 分 配 , 然 而 在 实际 
中 ,四 于 只 总 是 未 知 的 ,因而 (6. 41) 无 法 应 用 . 即 笑 如 此 ,分 层 抽 样 法 
还 是 有 其 作用 的 . 我 们 指出 ,即使 到 简单 的 分 也 x. 二 lf 2 一 at/ 
一 a), 忆 有 Var(6, Vartt,). 

扣 实 上 ,我 们 以 二 sb/ 0 一 习 代 A 入 C6.39), 逢 
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Var(8) = > 
由 Cauchy-Schwarz 不 等 式 , 有 


所 DED GH 


i=1 | z=| 


据 此 ,在 (6. 40) 式 中 两 端 各 乘 以 i; 并 相 亏 , 即 有 


Si fF)dr— DF 
i=1 el 


< | fa)ar /他 -四 
这 就 给 出 了 Var)<WVar( 亿 ). 
$6.2.6 关联 抽样 方法 


为 引出 关联 扶 样 法 ,我 们 考 虚 下 面 的 积分 之 差 
引 一 [frydz — jacopaz 人 xz -一 了 


假设 我 们 分 别 用 了 和 箔 计 攻 和 了 ,并 用 8=j 一 j, 估计 9, 则 6 的 方 
赣 为 
Var{6) = Var (th) 十 Var — 2Cov(f,1,) 
显 热 ,在 Var(j) 和 Var(f,) 情 定 后 ,j 与 js 的 正 相 关 度 越 高 , 则 站 的 方 
莽 越 小 , 这 使 是 关联 抽样 法 的 基本 出 发 点 . 
考虑 用 重要 抽样 法 估计 六 和 产 , 即 改写 8 为 


8= IhCryp (ryYdzr 一 TACTE 


其 中 g1(x) ,gz(z) 是 两 个 窗 订 函数 ,hitz) 一 f(r)/gi(zx),i 一 1,2. 首 
先 , 我 们 由 g1(X) ,BalT) 各 产生 nn 个 随机 数 及 1*…' 六 和 了 9， a 多 
后 计算 


6 一 二 (CCG) ~ hlY)) 
i=1 
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如 果 我 们 设计 X; 与 了; 有 较 高 的 正 相关 ,比如 ,采用 道 变换 方法 由 同一 
个 U0,1) 分 布 的 随 抽 数 产 生 关 ;与 了 ;, 则 可 望 降低 估计 的 方 匡 . 


用 类 似 的 想法 我 们 可 以 改进 6 二 | rod 的 估计 . 首先 讨论 9 一 
| f(a9dz 的 情况 , 因 


| eeodz= | ra 一 mdz 
故 
0 一 序 | ren 上 + 一 ma]dr 会 二 十 天 
于 是 ,我 们 可 先 产 生 半 个 UTC0,1) 分 布 的 随机 数 ,ea 然后 计算 
6 = 让) + fl — w)] (6. 42) 


我 们 可 将 6 与 C6. 34) 式 的 名 进行 比较 . 此 处 名 显然 也 是 无 偏 的 ， 
县 有 有 下面 的 定理 。 

定理 .8 在 上 述 假 定 下 ,车 f(x) 是 单调 匡 数 旦 具有 一 阶 连 续 导 
数 , 则 


Var(B) < Var(b) 
证 骨 : 不 失 一 般 性 , 设 二 1, 刚 
Var(85= 十 [ | ee + FO — de — (29)*| 


lf 了 7 _ 
一 本 | Forde + 3 | reoxa dzr 一 亲 
又 由 (6. 36) 式 (ac 一 0.5 一 1 一 1) war( 色 ) 一 | 产 (xJdzx 一 名 ,于 是 


2Var(@) — Vartd,} = [feara — rdz— 《6.43) 


由 定理 条 件 ,A(z) 为 单调 函数 ,不 妨 设 为 单调 增 函 数 , 于 是 大 1 六 
9A(0). 令 


#1) = [fa dz 0 
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则 p07) 二 pt1)=0, Ey) 二 (1 一 2) 一 9 是 单调 减 是 数 , 而 #00) 一 
FI 一 0 9 一 .FOODO) 一 BO 从 而 有 区) 宇 0,Y 全 [0,11. 由 此 ， 


| wereopadz>o 
将 上 式 分 部 积分 ,给 出 
| (rrydzrs0 
亦 即 
[ra wrodr 0 [f(rdr 0 
将 之 代 人 (6. 43) 式 ,定理 得 证 . 


更 一 般 地 ,考虑 9 二 ji4cz)gcx)dz, 其 中 g(x 是 一 密度 函数 ， 


(rz) 相当 于 前 述 ftxr)/gtx). 和 由 与 导出 C6.42) 式 类 筷 的 想法 ,我 们 可 
给 出 


8 一 二 > [AhCr) + hr) 
2 全 1 


其 中 一 人 au re wi sn 为 来 自 0,1) 的 随机 数 ， 
G 为 g 对 应 的 分 布 陋 数 . 由 构造 ,XX;,X',) 是 焦 相 关 人 的 ,车 (x) 单调 ， 
则 如 的 方差 比 样 本 平均 值 法 得 到 的 估计 揭 方 盖 小 . 

我 们 上 面 的 讨论 均 在 假定 az 有 限 下 进行 ,读者 不 难 发 现 , 渤 a 沁 
为 无穷 时 ,上 述 方 法 照样 可 行 . 以 样本 平均 值 法 为 例 , 设 8 一 | fer)dz, 
取 g(x) 一 < “(标准 指数 分 布 》, 令 x, ,zs 是 来 自 g5x) 的 随机 数 , 则 台 
的 一 个 佑 计 是 

6 = 4 Df 


3 6.3 EM 算法 及 其 推广 


在 统计 领域 里 , 主要 有 两 大 类 计算 问题 ,一 类 是 被 大 似 然 舍 计 的 计 
算 , 另 一 类 是 Bayes 计算 .从 计算 方法 上 讲 , 这 二 者 是 可 以 合并 讨论 的 ， 
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因 极 太 似 然 知 计 的 计算 类 伺 于 Bayes 的 后 验 众 数 的 计算 ,因此 ,我 们 后 
面 就 从 Bayes 计算 角度 介绍 和 统计 计算 方法 . 

Hayes 计算 方法 已 有 很 多 ,大 体 上 可 分 为 两 人 类 .一 类 是 直接 应 用 
于 后 验 分 布 以 得 到 后 验 均值 或 后 验 众 数 的 估计 ,以 及 这 种 导 计 的 产 近 
方差 或 其 近似 - 譬如 上 一 节 我 们 介绍 的 定 积分 的 统计 模拟 计算 , 它 只 能 
应 用 于 比较 简单 的 后 验 分 布 . 男 一 类 算法 可 以 总 称 为 数据 添加 算法 ,这 
是 近 牛 发 展 很 快 且 应 用 很 广 的 一 种 算法 , 它 不 是 直接 对 复杂 的 后 验 分 
布 进行 极 太 优 或 进行 模拟 ,而 是 在 观 调 数 据 的 基础 上 加 上 一 些 “* 潜 在 数 
据 ”, 从 耐 简化 计算 并 完成 一 系列 简单 的 极 太 化 或 借 拟 ,该 “潜在 数据 ?” 
可 以 是 "缺损 数据 (Missing Data7? 或 未 知 参 数 . 其 原理 可 表述 如 下 : 设 
我 们 能 观测 到 的 数据 是 了 ,8 关于 工 的 后 验 分 布 pt0|1Y) 很 复杂 ,难以 
直接 进行 各 种 统计 计算 ,假如 我 们 能 假定 一 些 没有 能 观测 到 的 潜在 数 
据 Z 为 凡 知 5( 警 如 ,7 为 某 变 基 的 裁 尾 观 测 值 .市 2 为 该 变量 的 真 值 ， 
则 可 能 得 到 一 个 关于 8 的 简单 的 添加 后 验 分 布 p(t81Y,;Z), 利 用 
户 (01Y,Z} 的 简单 性 我 们 可 进行 各 种 统计 计算 ,如 极 大 化 ,抽样 等 ,然后 
回 过 涉 来 ,我 们 多 可 以 对 Z 的 假定 作 检 查 和 改进 ,如 此 进行 ,我 们 就 将 
一 个 复杂 的 极 太 化 或 抽样 问题 转变 为 一 系列 简单 的 极 太 化 或 抽样 . 当 
然 , 这 电 面 有 一 个 收 钙 性 的 问题 ,涉及 到 方法 的 选取 . 我们 下 面 介 绍 两 
种 常用 的 数据 添加 算法 ,它们 是 EM 算法 及 其 各 种 推广 和 Markov 
Chain Monte Carlo 方法 .本 节 先 介绍 EM 算法 ， 


$56.3.1 EM 算法 


先 考虑 一 个 简单 情形 , 设 某 元 性 的 失效 时 间 了 关于 某 个 变量 + 有 
直线 问 归 关系 .假设 在 一 次 试验 中 得 到 一 批 观测 数据 ,网 图 6.3, 了 及 
“XX ”表示 该 种 元 人 忻 的 失效 时 间 对 应 的 值 ,小 圆 图 "。 ”对 应 元 件 的 ( 右 ) 
截 展 时 间 ( 比 实际 失效 时 间 要 小 ). 如 果 直 钱 斜 率 和 截 距 的 估计 值 已 知 ， 
则 我 们 可 以 在 真实 数据 不 小 于 截 昆 数据 的 前 提 下 ,将 各 个 被 截 属 的 失 
效 时 间 佑 计 出 米 ( 艾 如, 若 EiYlz)>Z, 则 用 EG71r) 作 为 真实 数据 ,和 否 
则 取 2 作为 真实 数据 ), 从 而 得 到 所 谓 的 “完全 数据 ", 由 此 “完全 数 
据 ”, 我 们 可 以 对 直 钱 疼 率 和 截 距 进行 估计 (如 极 大 似 然 估计 7, 个 计 出 
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新 的 斜率 和 截 上 距 后 ,再 重新 知 计 各 个 被 截 必 的 失效 时 间 ,得 到 新 的 完全 
数据 ,如 此 重复 ,我 们 便 将 一 个 复杂 的 估计 问题 替换 成 - -系列 简单 的 估 
计 间 题 ,关于 它 的 收 鳃 性 ,以 及 这 样 得 到 的 斜率 和 截 距 的 估计 是 否 具有 
一 些 好 的 性 质 ,我 们 将 在 后 面 讨论 . 将 之 一 般 化 ,我 们 可 给 出 EM 算 
法 . 


图 5.3 试验 数据 


EM 算法 是 一 种 选民 方法 ,最 初 由 Dempster 等 提出 中 ,并 主要 用 
来 求 后 验 分 布 的 你 数 ( 即 极 大 似 热 估计 ), 它 的 每 -: 次 迭代 由 两 步 组 成 ， 
EE 步 ( 求 期 望 ) 和 M 步 ( 极 大 化 ). 一 般 地 ,以 at 上 7) 表示 的 基于 观测 
数据 的 后 验 分 布 密 着 函 数 , 称 为 观测 后 验 分 布 ,p58|Y,2Z) 表 示 添 吉 数 
据 ZZ 后 得 到 的 美 于 8 的 后 验 分 布 密度 酒 数 , 称 为 添加 后 验 分 布 ， 
pp(Z18, 了 了) 表示 在 茹 定 8 和 观测 数据 了 王 潜 在 数据 Z 的 条 件 分 布 密度 
函数 .我 们 的 目的 是 计算 观测 后 验 分 布 如 (8|Y) 的 父 数 ,于 是 ,EM 算法 
如 下 进行 . 记 的 "为 第 ;十 1 次 夺 代 开始 时 后 验 休 数 的 估计 值 , 则 第 ;十 1 
次 选民 的 两 步 为 

EE 步 ,将 p(t0,Y,Z) 或 logp(98lY,Z) 关 于 Z 的 条 件 分 布 求 期 望 ,从 
而 把 Z 积 掉 , 即 

OOOD ,YY A Fzllogp OlY ,2) 189°,7] 


= llogLpc0lY,2)Jp(210",Y)dz (6.44) 
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M 步 :将 QI8 7) 极 大人 化, 即 找 一 个 点 吕 和 


QO NO Y) = maxQOle™,Y 《6. 45) 
如 此 形成 了 一 次 选 代 8 一 久 将 上 述 下 步 和 M 步 进行 选 代 直 至 
16 人 一 9 或 18165 16, 了 一 Qt 162 ,71 4 充分 小 时 停止. 


下 面 我 们 看 一 个 例子 . 
全 6. 13 RN 其 发 生 的 概率 分 别 为 


于 十 和 卫 G 一 9 十 G 一 0 ,于 ,其 中 2DE 00,1), 现 进行 了 197 次 试验 ， 


困 种 结果 的 发 生 次 数 分 别 为 125,18,20,34. 此 处 观 浏 数据 为 
= (yy Yay) = (125,18,20,34) 
取 8 的 先 验 分 布 xt 扑 为 平坦 分 布 ( 此 处 即 0,13 上 均匀 分 布 ); 则 8 的 观 
测 后 验 分 布 为 
palYYcc xr (OO pTY | 


= | 3 和 | 二 Ga »] [二 一 9 二] 
cc (2 DA Co Dt (6. 46) 
现 假 设 第 一 种 结果 可 以 分 解 成 两 部 分 ,其 发 生 概 率 分 别 为 172 和 8B/4， 
令 Z 和 六 一 2 分 别 表 示 试 验 中 结果 落 人 这 两 部 分 的 次 数 (2Z 是 不 能 观 
测 的 潜在 数据 ), 则 缚 的 潜 加 后 验 分 布 为 
户 (8 了 ;Zec rt plY ,Z| 


= | 3 | ‘| [ta D| lia - » [二 | 
cc Pt — 1» C6. 47) 
用 (56.46) 求 8 的 后 验 众 数 比 较 麻 糯 , 而 用 (6.47) 式 求 后 验 众 数 则 
十 分 管 单 ,因此 ,我 们 可 用 EM 算法 求 (6. 46) 式 的 后 验 众 数 , 
我 们 在 (6.46) 和 (6. 47) 中 均 采 用 了 符号 ,人 它 表 示 该 符号 两 端 可 
能 存在 -- 个 与 和 无 关 章 比例 因 子 . 这 个 比例 因 地 在 EM 算法 中 是 不 起 
作用 的 ,因为 它 在 航天 化 46. 45) 时 可 约 去 . 后 面 我 们 在 许多 地 方 均 要 采 
用 符号 红 , 它 使 许多 计算 简化 . 
在 第 i 十 1 次 迭代 中 ,很 设 有 合计 和 值 2 , 则 ao 通过 卫 步 和 M 步 得 
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到 吃 的 -- 个 新 的 估计 ,在 眉 砂 中 ,由 (6. 447 有 
QO ,Y= Ey —Z+ yogd tt Cys ylogtl — 018® ,YY] 
一 La 一 (2Z 07) 十 yi oge 十 《ya 十 ys)logt1 一 
因 在 22 和 了 给 定 下 ,Z 一 56527000 十 2))。 故 
E’ (ZI0°,Y) = 2y/ 十 2) 
在 M 步 中 ,我 们 将 名 人 1282 7) 对 8 求 导 并 令 其 为 0. 有 
二 EZ | 多 了) 
十 3 二 和 十 和 一 ECZIOn ,YY 
| "y+ CO" 十 2) ys | 
80 十 【80 + Cy ys + YY 


”15997 十 68 
”1978% 十 144 《6. 48) 


(6. 48) 式 纵 出 了 由 EM 算法 得 到 的 选 代 公式 ,从 292 一 0.5 开 始 ， 
经 过 四 次 进 代 ,EM 算法 收 伍 到 观测 后 验 分 布 的 众 数 0. 6268. 

另外 ,由 {46.48) 式 不 用 移 代 也 可 求 出 8 的 估计 . 淮 实 上 ,(6.48) 是 
一 个 迭代 公式 ,车 它 收 第 到 站 , 则 应 有 6 一 (1598 十 68)/(1976 十 144), 解 
之 有 =0. 626 821 497. 

EM 算法 的 最 大 优点 是 简单 和 稳定 .EM 算法 的 主要 目的 是 提供 
一 个 简单 的 迭代 算法 来 计算 后 验 众 数 ( 或 MLE), 和 人们 自然 会 问 , 如 此 
建立 的 EM 算法 能 否 达 到 预期 要 求 , 就 是 说 ,由 EM 算法 得 到 的 估计 
序列 是 理 收 策 , 如 果 收 化 其 结果 是 否 基 p81 了 ) 的 最 大 信和 或 局 部 最 大 
值 . 为 此 ,我们 给 出 下 述 两 个 定理 , 记 EM 算法 得 到 的 估计 序列 为 8 ,i 
一 1,2，--- ,LO YI)=logp |Y). 

定理 6.9 FM 算法 在 每 一 次 渤 代 后 均 提高 {观测 ) 后 验 密度 函数 
值 , 即 


Bi+ 1 


08c+D | 7) 3 pl O01Y) (6.49) 
证 明 : 由 全 概率 公式 
POZIY) = pLZIO TIPpONYT) 一 (8| 了 .7Z7pCZIY) 
将 上 式 后 面 两 项 取 对 数 有 
log 户 (817) = logp (0|Y ,2) 一 logp(Z18 7) + logp (Z|Y) 
C6, 50) 
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设 现 有 估计 ,将 上 式 对 ZZ 关于 记 EZ2 ,7) 求 期 望 , 有 
logp (8|Y) = [Qogp colY,2) 一 logp(718,Y) 十 


logpZ|Y) p21,Y)d2 
人 QB YY HOON YY + KIO ,YY) (6.51) 
其 中 全 (08182 7) 已 在 66. 44)7 中 定义 ， 


HOI0%,Y)= | iog[La(Z16,7)]20Z105 7)dz 


KB ,了 ) 一 jogLp 217) p219°, Yd2 


分 别 在 C6.51) 中 取 8 为 8 和 +t 0 并 相 减 ,有 
logp(Oitn |y) — logp Ot |Y) 
= [Qn 0 7) — QP 0" ,Y)] 一 
[HOD |G,Y) 一 HOO IO ,Y)] 
由 Jensen 不 等 式 ， 


Eog| plZ! BH YY) 】 


古人 (Z120 ,7Y) 


8 0 
PAZIOP,YY | 


鼓 再 (的 182 一 五 (的 1 的 0 而 拓 - 是 便 (82 ,7) 达 最 
大 的 ,显然 


log (E YY 


Ql a1 [9 ,YY) 一 [0 2 0 

定理 6.10 (1) 如 果 pc81Y) 有 上 界 ; 则 Li0?|Y}) 收 化 到 某 个 
了 

2) 如 果 驴 ( 引 四 关于 如 和 9 都 连续 , 则 在 关于 工 的 很 一 般 的 条 件 
下 ,由 EM 算法 得 到 的 佑 计 序 列 2 ”的 收 务 值 2 是 工 的 稳定 点 . 

证 明 ;(1; 的 证 明 由 单调 收敛 定理 立 得 ; (2 的 证 明 见 文献 1. 

六 十 定理 6. -0, 我 们 指出 ,定理 的 条 件 在 大 多 数 场合 是 满足 的 , 定 
理 的 收 敏 性 绪 沦 是 针对 (对 数 ) 后 验 密 度 函 数值 给 出 的 . 而 后 验 密 度 琴 
数值 序 到 的 收敛 性 比 征 计 序列 本 身 的 收 匣 性 史 有 意义 . Wu 也 讨论 了 
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估计 序列 本 身 的 收敛 性 ,出 处 从 略 .另外 ,在 定理 6.10 条件 下 ,EM 
算法 的 结果 只 能 保证 收 和 伍 到 后 验 密 度 函 数 的 稳定 点 ,并 不 能 保证 收 扫 
到 极 太 值 点 ,事实 上 ,任何 一 种 算法 都 很 难保 证 其 结果 为 极 大 值 点 . 较 
为 可 行 的 办 法 是 选取 几 个 不 同 的 初 值 进行 选 代 , 然 后 在 诸 估计 间 加 以 
选择 ,这 可 减轻 初 值 选取 对 结果 的 影响 . 

例 6.14 表 86.3 的 数据 来 自如 下 模型 :在 第 ;组 中 的 第 j 个 观测 
值 为 Dijs 

《80 一 CN) 了 一 
表 63 试验 数据 


62,.60,.63.59 


3.6771164.65,66 


68,66,71 ,067,68,68 


56.62,6016]1 .63,64,63,59 


且 诸 独立 . 设 pp 一 NC 区) , 记 
6 一 (mloga,logr) 
Y= {Yas = yt = Ly mn} 
Ze Cp pn) 
n= Dn 
i=1 
6 是 我 们 感 兴趣 的 未 知 参 数 , 取 其 先 验 分 布 为 
plpslogo logr) oe r 
则 由 Bayes 公式 不 难得 到 下 述 后 验 分 布 
plfasm pnts logo,logt|Yy 
oe piprlogo,logr) « 


J pe Fr II JTT pCyalp0) 
将 之 展开 并 取 对 数 有 | 
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iogp tp Ci spims logo ,logr|Y) 


由 


ce — alogo -- (m ~- 1)ogr 一 D3 Cp 一 让) 一 
i=1 


rn 
i 


让 


从 而 
logplr,logo ,logrt|Y ,2Z) 
oc logplpes sy tens teslogo ,logr |Y) 


cc — nlogs 一 《了 一 1)logr 一 二 和 > (入 一 请 ?2 一 


2 > Dn 一 2): 《6. 52) 


i j= 


直接 极 太 化 pmslogovlogr|Y) 求 yo0rT 是 很 困难 的 ,我 们 将 Z= 
Cm pm) 看 作 潜在 数据 便 可 以 采用 EM 算法 来 完成 它 的 要 大 化 . 
在 世 步 中 , 设 已 有 8 的 估计 值 6 一 [yo ,5 中 1), 我们 要 在 给 定 
Y 和 ?的 条 忻 下 求 (6. 52) 式 的 期 望 . 因 正 态 分 布 是 上 的 共 罗 先 验 分 
布 , 不 难得 到 
(Be TY NT 


其 中 
上 i ud 中 1 5 
A = \ ey 十 Tay )/ Cr 和 oy 
一 ! 
Ve | Ey 十 | 


这 里 六 = 六 >) yw 于 是 ,对 任意 与 aa 无 关 的 量 C， 
Fe — CEON Y= [EC On 7) 一 人 人 十 Warfz le ,Y) 
= (KC 一 C+ Ve 
分 别 邻 忆 等 于 pg 和 yj 即 可 得 到 (6.52) 式 在 Y 和 8 给 定 下 的 期 望 ( 即 
Q 函数 )， 
WAP, 7) 二 一 说 logc 一 (天 一 1)logz 一 
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ZL + VP 
上 
PAV 0.53) 
r=1 J=1 


其 中 C 是 与 8 无关 的 量 . 
在 M 步 中 ,对 (6.53) 式 的 极 太 化 是 直接 而 简单 的 , 上 QC816,Y 
对 Paiz 求 导 得 


四 
1 Nm 

or 一 AD 

“ md 


gi 二 (2 ly p33 [ 3， RD 十 vel) 


f=] j= 


了 re 一 Si Ht)2 Te 
由 此 给 出 迁 代 公式 
该 EM 算法 的 实施 是 不 难 的 . 取 两 组 相近 的 初 值 ,经 过 8 次 选 伐 ， 
都 收 敏 到 jr 一 64. 0127,0 二 2. 4248,T5 一 3. 4993 ,于 代 中 间 结 果 见 表 5. 4， 
误差 控制 取 | eat oe en) | Tt ] IX10, 


表 6-4 EM 算法 选 代 结果 


Bd. O000O | 64. O104 | 64. O124 164. 126 | B64. 0127 | 64.0127 | 6 和 0127 | 64. O127 


2. 2900 | 2. | 2.4198 | 2. 4257 | 2.4246 | 2.4249 . 2.4248 | 2.4248 


3. S600 | 3.53: 3. 458] | 3. 50140 3.4993 | 3.4994 | 3.1994 | 3.4993 


十 -一 -一 一 一 


60. O000 | B3, 4222 | 53. 9385 | 64. 0086 : 64. 0124 1 64.0127 64.0127 


2. 0000 [ 2. 6497 | 2.3554 | 2.4317 CC 2.4237 | 2.425] 之 ,和 芝 和 名 


2.0000 | 3.4182 | 3.4]120 | 3.4989 C3. 4969 | 3. 4995 -3.4993 


为 了 说 明 EM 算法 的 收 化 性 ,我 们 特地 选择 一 织 放 离 参 数值 的 初 
值 gx=23.0 一 5,;+ 二 1 进行 EM 计算 ,经 过 82 次 送 代 后 ; 它 也 收 敏 到 上 
述 结 果 , 选 代 过 程 抑 图 6. 4. 

EM 算法 的 简单 可 行 性 和 稳定 性 使 得 EM 算法 得 到 广泛 的 应 用 
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特别 是 在 指数 型 分 布 族 中 . 
假设 六 二 (YY,Z) 的 分 布 为 如 下 指数 恋 ; 其 帘 度 星 数 为 
六 人 Cr) = explOs (Cr) 十 ct) — dr)!} 
了 平坦 先 验 分 布 r(9)cc1* 则 由 Bayes 公式 ， 
polY ,2) cc exp1esfz) ch)} 


图 6- 4 EM 算法 选 代 过 答 


在 下 于 中 ,@@ 话 数 可 写 出 (可 相差 一 个 与 8 无 关 的 常数 ,下 同 ) 为 
QO ,Y) = jeg[ecely,2)]e(Z1en 7)d2 


8 [srjplZ Ie 747 一 ef) 


I 


OE*[s CX) | ,YY | cco) 
如 BY 
在 M 步 中 ,由 列 人 5: 交 一 0 可 给 出 


一 2 ELs CX) em ,7] 


又 由 指数 族 性 质 ( 定 理 1. 14) 知 
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ELrCX) | 的 和 ElsCX)1—— et 
于 是 ,EM 算法 的 近代 公式 等 价 于 解 方程 
E[sCX})|8] = E*[s(X}|O",.Y |] 


这 样 求 出 的 合计 序列 8"° 收 化 到 观测 后 验 分 布 的 众 数 . 
$ 6.3.2 标准 差 


由 前 面 介 绍 ,EM 算法 在 -~: 般 条 件 下 收 化 到 后 验 分 布 的 众 数 , 下 面 
我 们 讨论 EM 估计 的 精度 . 

假设 EM 算法 最 后 的 结果 是 5, 则 单 的 渐 近 方差 可 用 Fisher 观测 
信息 的 俩 数 
Flogpi91YY| 1 ! 
| 
近似 (参见 $2.5.2)., 因此 ;问题 的 关键 是 (6. 54) 的 计算 或 近似 计算 ,下 


Vso=17! = 《6. 54) 


$6.3.2.1 Louis 算法 


由 (C6. 50? 式 容易 看 出 ， 
Flogp dlY) Flogp ta|Y ,2) 
a 和 a 


Flogp Z|0,Y 
十 二 gz (Z|0 YD) 


洲 
将 上 式 对 (2Z 18,Y) 求 期 望 , 得 到 
_ Flogp (|Y) 
2 


= 一 | B20 p210.Y)dZ 十 


| S82 p210, YYd2 
_ 一 szT) 
Ei id 
= 
a P= 
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其 让 忆 和 如 如 (6. 51) 中 定义 ,一 5 和 一 3 和 分 别称 为 完全 信息 和 艇 


损 信息 .十 是 我 们 得 到 所 谓 的 “缺损 信息 原则 ”, 艺 
观测 信息 二 完全 信息 一 挟 搞 信息 
Louis 曾 得 到 了 一 个 重要 结论 站 
( Flogpl2 10,Y) 
| 


pL10,Y YdZ = Var ologp (GY,2) 


Flogp (0|Y) 
一 于 


| esp G02 
一 入 


plZ10,YydZ 一 


Var alogp GY ,2) 


6. 55}) 


其 中 涉及 到 的 方差 袁 达 式 应 对 达 美 于 (98, 了 ) 的 条 件 分 布 pCZ18, 了 ) 进 
行 , 将 (6.55}) 式 中 的 8 换 为 68, 其 倒数 即 为 的 渐 近 方差 . 
例 6.15 在 例 6.13 中 ， 


dAogp dlY ,2) oc YO 一 yy 3a 十 ys 
弛 0 1 一 吕 


记 最 后 得 到 的 估计 为 8 会 0. 6268, 则 


| TD p210,7Ydz 
一 了 ; 
Yi 十 V4 E(Z10,Y) 十 ?ya 十 3 
Ea 《1 A? 
_ 159 ~ 125 » 2/{2 十 0. 6268) | 38 
0. 8268? (1 ~— 0. 6268)? 
一 435. 3 
而 
Aogp BlY 2) Vart7|8,Y) 
var| 人 | = YD 
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_ 2_1.1-2 1， 
一 125 | | 
一 $7.8 
于 是 
一 |， = 435.3 一 57.8 一 377,5 


站 的 斯 近 标 准 差 为 377.5 1 一 0.05. 
§ 6.3.2.2 模拟 计算 


例 56.15 给 出 了 一 个 能 够 显 式 计算 的 例 ; 在 许多 场合 ,给 出 (6. 55) 
的 显 式 表达 式 是 很 困难 的 ,甚至 是 不 可 能 的 .此 时 中 考虑 采用 模拟 的 办 
法 给 出 (6. 55) 式 右 端的 近似 ， 

设 我 们 可 从 分 布 pC(Z 18, 了 7) 抽取 天 个 样本 ， 记 为 zz 如 果 zm 
充分 大 , 则 《6.55) 式 可 近似 如 下 


2 | p210,Y)dZ 


CO 


1 工 》， Slogp 0|Y, | 
| 入 


aogp tl, ZZ) 


a 


Var 


a 


| Ca) 
~ 让 | ogp olY,z 


2 
™ Alogp(8|lY ,2z)| 了 
[ 志 > gp | ] 
例 6.16 在 例 6.13 中 ,p(Z1Y,9) 为 二 项 分 布 ,在 EM 算法 收 全 
到 68=0.6268 后 ,p(Z|9,Y 了 为 5《y 27 (2 十 全 )= 二 64125,0.7614) ,我 们 
可 由 二 项 分 布 125:.0-7614? 抽 取 普 个 独立 现 出 值 , 然 后 近似 计算 
C6, 55) 式 ， 
由 《6. 47), 有 
Aogp OY Tt 和 
~ : 8 1 一 4 
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_ 125 十 34 一 = 18 十 25 
0. 6268 0. 3732 


154, 8474 — 1. 5954z 


Plogpb|Y ,2) we 一 守 十 Y 二 3 十 Ys 


a 号 6 (1 一 - dy)? 
125 十 34 一 x ，18 十 20 
0. 62682 ”0.3732? 


BFF. 5407 — 2- B4032 


在 得 到 随机 数 z1，…,z。 后 , 记 z 二 二 > is ,一 >)”z?, 有 


ri ni 


Flogp OlY ,2) 
| 


四 1 三 
PZ10, Yd2~ — 亡 2 {677,5407 —2, 5453%;) 


j= 
= 877. 5407 一 2.5453 


Mogp |Y ,ZZ) 
Ed 


Var| ~ 过 > C154. 8474 一 1. 5954z;)? 一 


(C154. 8474 -1.5954z2): 
= 2.5453[zz — (Cz)*] 
至 此 可 给 出 (6, 55) 的 近似 值 为 677. 5407 一 2. 5453(z 十 2 一 (z)?) ,我 们 
在 计算 机 上 抽取 10 000 个 5(125,0.7614}) 的 随机 数 , 近 航 计 算 的 结果 
为 57.4563, 向 精确 值 为 57. 8. 
倘 ptZ|Y ,四 不 能 直接 抽样 ,可 考虑 采 捧 3 6.1 节 中 介绍 的 各 种 抽 
样 方法 ， 


§ 6.3,3 GEM 算法 


EM 算法 得 到 广泛 应 用 的 一 个 重要 原因 是 在 M 步 中 , 求 极 大 化 的 
方法 与 完全 数据 下 求 极 大 化 的 方法 完全 一 样 .在 许多 场合 ,这 样 的 极 大 
化 有 显 式 表 示 , 然 而 并 不 总 是 这 样 ,有 时 要 找 使 (6. 45) 式 右 端 达 最 大 的 
9 是 困难 的 ,一 个 较 简 单 的 方法 是 找 一 个 8+ ,使 得 

QT ON YD) > QB 0 ,Y) {6. 56) 
由 《6. 44) 和 (C6. 56) 组 成 的 EM 算法 称 为 广义 EM 算法 (GEM 算法 ). 


目 
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从 定理 6.3 的 证 明 可 以 看 出 ,GEM 算法 也 保证 有 户 (| 7) 准 
二 (8 1Y) ,进一步 ,略微 改变 一 下 条 件 , 定 理 6. 10 对 GEM 算法 也 是 成 
立 的 5. 

当 妨 是 - 维 参 数 时 , 现 已 有 许多 极 太 化 方法 可 以 使 用 ,因而 没有 必 
要 考虑 GEM 算法 .对 多 维和 参数 9 二 {6 ，… :0) ,Neng 和 Rubin 提出 一 
种 特殊 的 GEM 算法 0 他们 称 之 为 ECM{ExpectalionVConditionat 
maximization) 算 法 ,该 算法 保留 了 EM 算法 的 简单 性 和 稳定 性 , 它 特 
原先 EM 算法 中 的 M 步 ( 极 大 化 ?分 解 为 如 下 点 次 条 件 极 太 化 :在 第 : 
十 1 次 千代 中 ,， 记 8 一 【8 在 得 到 息 08|16 ,77 后 ,首先 在 
开锅 保持 不 变 的 条 件 下 求 使 妨 (81692 ,了 7) 达到 最 大 的 多 + ,然后 
在 外 一 狼人 2 一 六 一 3 的 条 件 下 求 使 入 (8105 7) 达到 最 大 
的 8“ ,如 毕 继 续 , 经 过 点 次 条 件 极 大 化 ,我 们 得 到 了 一 个 Be+D ,完成 
了 一 次 壕 代 . 该 ECM 算法 很 简单 , 它 是 一 种 GEM 算法 ,满足 GEM 算 
法 的 所 有 性 质 , 璧 如 收 敏 性. 


$6.3.4 Monte Carlo EM 算法 


EM 算法 由 求 期 望 (E 步 ) 和 求 极 值 (M 步 ) 两 部 分 组 成 ,M 步 由 于 
等 邮 于 完全 数据 的 处 理 ,通常 比较 简便 ,而 在 玉 步 中 ,有 时 要 获得 期 望 
的 显 式 表示 是 不 可 能 的 , 即 柄 近似 计算 也 很 困难 ,这 时 可 用 Monte 
Carlo 方法 来 完成 ,这 就 是 所 谓 的 Monte Carlo EM (MCEM) 方 法 , 它 
将 巨 卡 改 为 ; 

(El1) 由 p(t2Z180, 了 ) 随 机 地 抽取 x 个 随机 数 = ,… ,zs 

(E2) 计算 (89195,Y) 一 声 227logp C91zjsY) 

由 大 数 定律 ,只 要 zm 是 种 大 ,让 819, 了 ) 与 人 @(9190,Y) 很 接近 ,从 而 
我 们 可 以 在 M 步 中 对 外 (919 ,了 ) 求 极 大 化 . 

在 MCEM 算法 中 有 二 点 是 主要 要 考 虚 的 .一 是 mx 大 小 的 确定 ,从 
精 雇 角度 来 讲 ,m 自然 越 大 越 好 ,但 过 大 的 如 使 得 计算 的 效 太 低 , 一 般 
在 开始 时 m 不 需 很 大 . 另 一 点 是 收 敲 性 的 判断 , 因 在 下 步 中 是 采用 的 
Monte Carlo 方法 , 若 野 求 这 样 得 到 的 5 路 敲 到 …- 点 显然 是 不 现实 
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的 . 在 MCEM 中 ,收敛 性 的 判别 往往 可 借助 图 形 来 进行 . 车 经 过 著 十 
次 选 代 后 , 渤 代 值 围 绕 直 线 8=8' 小 幅 泸 动 ; 则 可 以 认为 算法 收 艇 了 . 
此 时 ;为 增加 估计 精度 ,可 增加 sx 的 值 再 运行 一 段 时 间 , 就 可 停止 . 

MCEM 得 到 的 估计 的 标准 差 同 样 可 由 386.3.2 节 中 的 方法 加 以 
估计 ,只 需 将 那里 的 驴 改 为 如 即 可 ,此 处 不 再 讨论 . 

例 6.17 再 考虑 例 6.13. 假设 在 第 i 次 连 代 开始 时 已 有 #8 的 千 订 
80, 因 (ZY 一 py sp Pi 二 898/02 十 2}, 因此 ,我 们 可 从 50， 
二) 扫 可 个 随机 数 = ,< 并 计算 急 范 数 


@@C81go ,Y) = 计 2loep (Ole,Y) 


一 (有 十 yi)log8 十 《32 十 9)logfdl 一 四 
在 M 步 中 ,将 上 式 对 8 求 导 并 令 其 为 0, 易 有 


Born 一 + 
二 4 十 Yi 十 ya 


将 之 在 计算 机 上 进行 运算 , 取 8 的 初 伪 汶 0.4, 开 始 时 取 rw 二 20, 在 经 
过 10 次 送 代 后 可 看 出 , 选 代 得 到 的 8? 值 呈 小 幅 波 动情 形 .将 x 增加 
到 200, 再 运行 10 次 ,结果 见 图 6.5; 可 用 后 10 次 的 均值 0.6271 作为 8 
的 估计 . 


0- 4 
0 2 4 6 名 10 12 i4 66 18 加 


图 6.5 运行 中 的 选 代 钴 亲 
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§ 6.4 Markov Chain Monte CarloC(MCMC) 方法 


_EM 算法 得 到 的 是 后 验 分 布 的 俯 数 ,有 时 我 们 希 户 得 到 其 它 一 些 
后 验 量 ,比如 后 验 均值 .后 验方 差 . 后 验 分 布 的 分 位 数 , 等 等 . 计算 这 些 
后 验 量 都 可 归结 为 关于 疝 验 分 布 的 积分 计算 .具体 地 , 没 xtx) ,XE 吏 
为 后 验 分 布 ,我 们 要 计算 的 后 验 量 可 写成 某 函 数 /4z) 关于 Cx) 的 期 
望 


下 上 。F 一 | ez?rkr)az 《6. 57) 


对 于 较 简 单 的 后 验 分 布 ,我 们 可 以 直接 计算 (6. 57) 或 利用 正 态 近似 、 数 
值 积分 ,静态 Monte Carlo 等 近似 计算 方法 ,但 当 后 痊 分 布 很 复杂 时 ， 
这 些 方法 都 难以 实施 ,而 在 实际 中 ,观测 后 验 分 布 往往 是 复杂 的 ,高 维 
的 、 非 标准 形式 的 分 布 . 因此 ;我们 必须 探讨 一 些 新 的 计算 方法 . 
Markov Chain Monte Carlo <MCMC) 就 是 最 近 发 展 起 来 的 一 种 简单 县 
行 之 有 效 的 Bayes 计算 方法 . MCMC 方法 在 统计 物理 学 中 得 到 广泛 应 
用 已 有 四 十 凶 年 的 历史 ,但 它 在 Bayes 统计 ,显著 性 检验 , 极 大 似 然 属 
计 等 方面 药 应 用 则 是 近 十 年 内 的 事情 . 


3 6.4. 上 基本 思路 


MCMC 方法 的 基本 思想 是 通过 建立 一 个 平稳 分 布 为 T(x) 的 
Markov 链 来 得 到 xtx) 的 样本 ,基于 这 些 样本 就 可 以 作 各 种 统计 推断 , 
比如 ,车 得 到 了 x(x) 的 样本 葬 下 ,XX 和 , 则 (6. 57) 可 估计 为 


一 4 fc) (6. 58) 
这 重 是 Monte Carlo 积分 . 我 们 知道 ; 当 其 中 ,XX 人 "独立 时 ,由 大 数 定 
律 有 


A Ef, no (6. 59) 
得当 六 中 ,… ,下 是 平稳 分 布 为 x(x} 的 Markov 过 程 的 样本 时 ， 
C6.59) 滤 也 成 广 ， 
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以 上 荐 MCMC 方法 的 简单 手 述 . 为 进步 说 明 MCMC 方法 的 做 
法 ,我 们 完 简 单 回顾 一 下 Markov 和 链 . 假定 我 们 用 如 下 方法 产生 一 个 随 
机 蛮 基 序列 ;天 人 有 :在 在 -时 刻 1(t 尘 0), 序列 中 下 一 时 刻 
ft 十 1 村 的 XX" 由 条 件 分 布 P(x| 六 人 中) 产生 , 它 只 依赖 于 时 刻 + 寻 的 当 
前 状态 调 与 时 刻 : 以 前 的 所 中 状态 {天 ,了 人 ,XX 先 美 ,这 样 一 
个 随机 空 其 序列 称 为 Markov 链 . 

一 个 问题 是 了 X 中 对 下 有 什么 影响 , 亦 即 是 说 ,在 给 定义 中 而 没有 
{党 ,XA 的 信息 博 沉 下 , 玉 中 的 分 布 情况 怎样 ? 我 们 将 下 个 纵 定 
下 并 中 的 条 柏 分 布 记 为 PEK 人 | 及 加 ) ,那么 ,不 同 的 六 中 的 取 值 对 呈 中 
的 分 布 是 否 有 显著 影响 ?我 们 看 … 个 例子 ,考虑 从 w(0.572 13 抽取 
及 中 ,对 涉 同 的 初始 值 式 ,我 们 可 以 得 到 不 痛 的 Markov 链 的 实现 ,但 
当 上 充分 大 后 ,六 中 的 分 布 已 经 与 外 无 关 !( 见 图 6.6). 这 表明 ,不 管 初 
始 值 取 什 么 ,处 ”的 分 布 收 化 到 同一 个 分 布 ,; 即 所 请 的 平稳 分 布 . 


图 6.5 Markov 链 的 实现 第 
- 般 地 , 令 1 瑟 2) 为 有 上 上 的 Markov 链 , 其 一 步 转移 概率 函数 


为 
pr 全 Pr 一 并 一 太一 2 0 一 并 (离散 ) 
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或 
Ptx B}= | pe de (连续 ) 


pt*，，*) 称 为 该 Markov 链 的 转移 核 . 常 假定 pC， ,，) 与 无关, 即 该 
Markov 链 是 时 间 齐 次 的 .i 步 转 移 概 宰 卫 数 为 
plirrsT) 全 POR Se zx |X® = x) 
记 信 的 分 布 为 (x) 二 PLX 二 Zz), 则 经 过 步 后 XX 的 边际 分 布 记 
为 
KT) 一 已 (有 = x) 
如 果 mtz) 满 足 


|acz,z?rce)dz = XT) AE 


则 称 xtx) 为 转移 核 p(t，，。，) 的 平稳 分 布 . 比如 ,在 上 面 的 例子 中 , 理 
论 上 可 算出 平稳 分 布 为 入 C0.0,1.33), 模 所 辣 果 与 之 吻合 . 

作为 起 始 状态 ,和 最 好 具有 分 布 xtzx), 于 是 ,由 平稳 分 布 的 定义 
保证 任 一 蕊 2 的 边际 分 布 也 是 x(z)，, 然 而 这 在 带 要 应 用 MCMC 时 通 
常 散 不 到 . 正 因为 从 r(x)? 难 以 直接 取样 我 们 才 人 异动 MCMC 方法 ,事实 
上 ,我 们 并 不 需要 起 始 状态 的 边际 分 布 就 是 r(Cz), 从 图 6.6 可 以 看 出 ， 
及 不 同 的 夺 ”" 出 发 , 链 经 过 一 段 时 间 的 选 找 后 ,可 以 认为 各 个 时 肇 的 
到 中 的 边际 分 布 都 是 平稳 分 布 x(x), 此 时 ,我 们 称 它 收 钱 了 .而 在 收 敲 
出 现 以 前 的 一 般 时 间 , 出 如 总 次 迭代 中 ,各 状态 的 边际 分 布 和 还 不 能 认 
为 是 rzr), 因 此 ,我 们 在 使 用 (6.597 佑 计 下 -j 时 ,应 把 前 面 的 产 个 选 
伐 值 去 掉 ,而 用 后 面 的 = 一 癌 个 选 伐 结果 来 估计 , 即 


人 _, 1 sm LP] 
fm = mn 2 FOX) 《6. 60) 


7 


t= 二】 


上 式 称 为 凯 历 平均 . 由 众 知 的 遍 捷 性 定理 ,有 户 .一 Er (eco)， 

入 模拟 计算 的 角度 看 ,我们 构造 的 转移 核 合 已 基 的 概率 分 布 r(z) 
为 平稳 分 布 ,因此 ,在 采用 MCMC 方法 时 ,转移 核 的 构造 其 有 至 关 重 
要 的 作用 , 不 同 的 MCMC 方法 ,如 Gibbs 抽样 方法 .Metropelis 方法 
等 ,往往 也 就 是 转移 核 的 构造 方法 不 同 , 这 将 在 后 而 其 体 介 绍 . 

至 此 ,我 们 可 以 把 MCMGC 方法 概括 为 如 下 三 小: 
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{1) 在 . 洁 上 选 一 个 “合适 ”的 Markov 链 , 使 其 转移 核 为 pi-， 
“ ),“ 这 里 合适 ”的 会 义 主要 指 x(z) 应 是 其 相应 的 平稳 分 布 

(2) 由 .党 中 时 一 点 六 中 出 发 ,用 (1) 中 的 Markov 链 产生 点 序列 
Ns 

(3) 对 基 个 mx 和 大 的 xn, 任 一 函数 A(x} 的 期 望 居 计 如 下 


Ef — li YD /foe) 


nT Mt 
MOMC 有 许多 研究 专题 ;比如 Markow 链 的 收 襄 性 兰 业 (mz 大 小 
的 确定 ), 链 的 长 度 (n 的 大小 ) 的 确定 , 悄 计 谍 差 等 等 . 下面 我 们 主要 讨 
论 转移 核 的 构造 . 


$ 6.4.2 满 条 件 分 布 


MCMC 主要 应 用 在 多 变量 , 非 标 准 形式 , 且 各 变量 间 相 互 不 独立 
时 分 布 的 模拟 . 显然 ,在 作 如 此 宰 拟 时 ,条 忻 分 布 起 很 大 作用， 
令 x 二 {zi 2)' ;我们 总 可 记号 出 


wx) 一 Errilze,) 《6. 61) 


其 中 :二 {rj 让. 郊 果 (56.61) 式 中 右 端 的 各 个 因子 (可 将 ri zs 
重新 排列 ) 能 够 直接 模拟 , 则 只 需要 进行 静态 模拟 ( 模 氛 过程 中 不 改变 
抽样 分 布 ) 即 可 ,而 不 需要 应 用 MCMC 方法 . 实际 中 ,很 难 散 到 使 
(6. 61) 式 中 右 问 的 各 因子 能 直接 模拟 ,因此 和 需 进 行动 态 模 拟 ( 抽 样 分 布 
随 模拟 的 进行 而 改变 ) ,如 MCMC ,此 时 满 条 他 分 布 扮演 了 一 个 童 要 角 
色 . 

MCMC 方法 大 多 建立 在 形 如 xtzr1z_7) 的 条 件 分 布 上 ,其 中 r= 
人 了 TYCN 一 (人 12 注意 到 ,在 上 述 条 件 分 
布 中 ,所 有 的 变量 全 部 出 现 了 (或 出 现在 条 件 中 ,或 出 现在 蛮 元 中 ) ,这 
种 条 件 分 布 称 为 满 条 件 的 (Full conditionals ). 

在 导出 满 条 件 分 布 时 ,应 注意 到 这 样 一 个 简单 而 有 效 的 事实 ;对 任 
意 的 +E. 党 和 任意 的 TCN,， 
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XCr) 


xCrr |z_1) 一 | Cc r(x) 《6. 62) 


x(x dxr 
亦 即 ,在 xfz) 的 乘积 项 中 ,只 有 与 rr 有关 的 项 需 保 留 . 等 虱 地 ,车 工 , 字 
EE,H zr 了 一 和 -zx» 册 
(zz _r) Axx ) 
Axlrrlz_r)y A(x) 


《6. 621 和 (6. 83) 很 重要 ,因为 后 验 分 布 密度 函数 通常 是 - : 些 乘 积 项 . 同 
时 ,复杂 前 后 验 分 布 的 正则 化 常数 往往 无 法 计算 ,而 MCMC 方法 的 一 
个 显著 优点 是 ,在 应 用 MCMC 时 ,rz) 以 政 满 条 性 分 布 可 以 相差 一 个 
比例 常数 . 
一 般 地 ,用 y 表示 观测 数据 ,x 一 (9,q,z) ,其 中 ,9,8,z 分 别 表 示 参 
数 , 超 参数 和 缺损 数据 , 则 上 述 x(x) 可 写 为 x(x1y)， 
r(x|ly) oe ply,2 IO ro pp 
其 中 ,p(y,z | 站 表示 完全 数据 的 密度 落 数 ,x(981g) 表 示 先 验 分 布 ,TC) 
为 超 参 数 的 分 布 . 由 46. 62), 各 变量 的 满 条 件 分 布 可 如 下 给 出 ; 
x NO pry) ec 疡 Ke ORO NO. ,9) 
rp lO Ey) oo mB Pp 
Tlz Bp) ec plysz| 
其 中 8_, 一 人 8, ;了 了 站 :24 类 似 地 定义 . 
在 实用 中 ;上述 满 条 件 分 布 有 时 亲 能 会 更 简化 . 
例 6.18 设 式 ,Za 的 联合 密度 随 数 为 


es — 1x 一 1 


则 我 们 可 和 容易 地 给 出 其 满 条 件 分 布 为 


n(x lr CC To 


C6.63) 


R(T TI) EE exp {— 


[ea exp{— 于 (zi 一 1)?Cx 一 | 


一 NCIl ,x 一 1 一 


alr | rT. oc TT rT) 


oe exp| 冯 Ca 一 lx, 一 1 : 
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= N(l,tr; 一 二) 

例 6.19 设 1 是 来 自 pz 的 样本 :并 设 (2,T) 的 先 验 
分 布 分 别 为 mm 一 Rir 一 Gaf2 1 且 产 与 天 独立. 记 了 一 (90 
3 则 Y,Psz 的 联合 密度 晤 数 为 

n+1 
pLY pT) 一 【2r》 7 exp {— BAY 一 AC 一 Sl) 


2 
其 后 验 分 布 为 


npsrlY) POY pst) 
Jp sp tds 
洲 条 件 分 布 为 
ntlrT Yr) oe exp{ 一 三 y， Co | 
一 1 cy y, 2 
~ exp pl t+ ar) “一 了 这 
>， y, 
=NW| 二 ， 
|: 下 we 十 ar) | 


1 
开工 | 下》 oc cexp| — FE ey | 
一 csexp| 一 rL1l 十 去 (一 OO 林 | 


=- Gal2 十 总 ;1] 十 三 $y Dy, 一 2 


滑 条 件 分 布 并 不 都 能 去 未必 显 区 形式 .看 下 人 

例 6.20 考虑 Logistic 回归 模型 ,假设 yy. 一 (1 ,pi), 且 诸 yi 独立， 
i 一 2. on; 其 中 pi 一 (1 十 e271 并 假设 a.8 的 先 验 分 布 分 别 汐 a 
~ 和 N01D,B~N(0,1),a 与 独立 ; 则 我 们 可 写 出 各 满 条 忻 分 布 , 警 
如 ,8 的 满 条 件 分 布 为 


元 [有 ja， Ye I {fe {tei [1 +e Tm] -1} 


这 个 满 条 件 分 布 是 无 法 进 -- 步 简化 的 . 幸运 的 足 . 虽 热 工 述 满 条 人 忻 分 布 
很 复 作 ;我们 仍然 可 以 运用 一 些 抽样 方法 来 抽取 它 的 样本 ,比如 $6.1 
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介绍 的 各 种 方法 ,以 及 其 它 方法 . 
§ 6.4.3 Gibbs 抽样 


最 简单 .应 用 最 广泛 的 MCMC 方法 是 Gibbs 抽样 , 它 是 由 Geman 
和 Geman 最 初 15] 命 各 提出 的 , 它 的 想法 很 直观 . 

设 外 二 (XX 的 密度 函数 为 tr) ,任意 测定 了 了 CN, 在 给 定 
下 -+ 二 工 + 条 件 下 ,如 下 定义 随机 变量 /= 《XX',)》: 厦 7 一 
芒 _7+ 而 闵 'r 具有 密度 函数 rtzr|z_r), 则 对 任 一 可 测 集 召 ， 


P(X' € 万 ) 一 | Rt Yar | dr 
Fd 


一 | xr dz" 
Ss 


一 rtBy 
因而 XX' 的 密度 函数 也 是 rCzr). 

上 述 过 程 定义 了 一 个 由 蕊 到 闷 的 转移 核 , 旦 其 相应 的 平稳 分 布 
是 x. 这样 购 造 的 MCMC 称 为 Gibbs 抽样 CGibbs sampler). 当 宁 只 合 
有 一 个 元 素 时 称 为 单元 素 Gibbs 抽样 (single-site (ribbs sampler), 单 
元 素 Gibbs 抽样 是 最 简单 的 MCMC, 比如 工 = 们 :时 ,单元 素 Gibbs 抽 
样 是 在 给 定 zy- 下 ;由 Zz 美 于 Cystyti Titls 
…:zo) 的 满 条 件 分 布 扫 样 ,因为 它 只 涉及 单 变量 抽样 ,这 使 之 量具 吸 
引力 . 

在 Gibbs 抽样 的 构造 之 初 ,我 们 假设 叉 具 有 密度 函数 xCr), 这 在 
实际 中 往往 向 不 到 ,但 这 并 不 影响 Gibbs 抽样 的 实施 . 应 用 中 ,我 们 可 
对 z= 二 1,……',n 重复 使 用 Gibbs 抽样 ,在 一 般 的 条 件 下 ,这 样 的 选 代 依 分 
布 收 伍 到 =. 下面 我 们 将 单元 素 Gibbs 抽样 具体 化 写 出 . 

在 给 出 起 始点 xz 二 (zx,… ,x ) 后 ,假定 第 1 次 先 代 开始 时 的 信 
计 值 为 x“ , 则 第 次 迁 人 分 为 如 下 n 步 : 

(1) 由 满 条 件 分 布 xCzi xz ) 抽 取 之 六 ; 


如) 由 满 条 件 分 布 zxCx; zs ) 拉 联 x 个 ， 
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TT 


tn) 由 满 条 件 分 布 FrCzo[xm xz) 抽取 - 必 

记 二 Markov 链 的 实 
现 值 .其 由 x 工 至 x 的 转 称 概率 陋 数 为 

而 Ar Ta TE) Xs 
To 
由 前 述 讨论 知 rtzr)? 为 其 平稳 分 布 . 

要 使 Gibbs 抽样 能 够 应 用 到 实际 问题 中 去 ,我 们 还 必须 知道 什么 
时 候 (Gibbs 扯 样 可 以 停止 ( 即 政 化 ), 以 及 您 样 对 (iibbs 抽样 得 到 的 数 
据 进 行 分 析 . 这 是 一 个 重要 而 困难 的 问题 ,下 面 我 们 只 人 必 一 些 简单 的 介 
细 . 

关于 Gibbs 抽样 的 收 敏 性 判断 , 凡 平 没有 简单 而 月 效 的 方法 ,在 实 
用 中 ,通常 可 采取 两 种 办 法 京 进 行 判 断 . 

方法 之 一 -是 用 Gibbs 抽样 同时 产生 密 个 Markov 链 ,在 经 过 一 段 
时 间 后 ,如 果 这 区 条 链 稳 定 下 来 , 则 Gibbs 拉 样 收 做 了 ,图 6.7 是 这 个 
方法 的 -个 直观 说 明 , 它 用 Gibbs 抽样 同时 产生 3 条 Markov 链 , 并 把 
其 中 的 一 个 参数 8 的 实现 什 作 成 散 点 图 ,由 图 时 清楚 地 看 到 ,在 经 过 约 
4409 次 选 代 后 ,Gibbs 抽样 收 襄 了 . 

另 一 个 判断 Gibbs 抽样 收 化 的 方法 是 看 议 历 均值 是 否 已 经 收 全 ， 
比如 .我 们 在 由 Gibbs 抽样 得 到 的 链 中 每 隔 一 段 牙 元 计算 一 吏 参 数 的 
遍历 均值 ,为 使 用 来 计算 乎 均值 的 变量 近似 独 并 ,通常 可 每 隔 一 自 取 一 
个 样本 , 当 这 样 算得 的 均值 稳定 后 ,可 斌 为 Gibbs 抽样 收 钙 . 下面 我 们 
用 两 个 例 来 加 以 说 明 . 

例 6.21 Gelfand 和 Smithne05 考 碟 如 下 的 例 , 设 某 试验 可 能 有 
五 个 结果 ,其 出 现 的 概率 分 别 为 

人 
它 含有 两 个 林 知 参数 乡 和 ?7 旦 都 介 于 0 与 ] 之 间 . 入 有 22 次 试验 的 结 
果 观 测 值 为 了 一 (yo 一 人 1411 1 5). 在 未 22 次 试验 中 出 现 
第 :个 站 时 的 次 数 汪 一 1. 5.Geliand 和 和 Smiih 将 说 备 分 解 成 两 


(1 一 中 一 及 
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hel 
3000 


0 1000 2 00M 4000 S000 6&000 


图 6.7 Gibbs 抽样 造 代 过 程 


部 分 ,即今 了 2 十 全 一 局 7 一 和 十 (一 Zr 使 
(2 ?了 四 2 7 73，Z， sY, 一 Za) 


i 
其 中 M 表示 多 项 分 布 ,Z1,2Z: 是 不 可 观测 的 ,可 看 作 缺 祖 数 据 . 取 平 坦 
分 布 作为 8,7) 的 先 验 分 布 , 即 

X(N) cc 1] 
车 令 一 (siyeo) 汐 2 一 (027Zo) 的 取 值 ,由 (yz7 的 似 然 函数 和 后 验 分 
布 分 别 为 


#] 十 Ys 1 
L(y,210,0) <| 4 { 言 
了 


[和 ”|| (人 了 1 Sy 
1 8 ， 2 ! 
rto, | yy LT 站 1 tt (1l 一 下 一 Ts 


满 条 件 分 布 为 


rf ye oc Ft — 7) — OF: 
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1 Ly 
-1 人 
全 《] - 了 DJ)Befzi 十 2 生 ] ，、P， 士 1} {6, 64 
XNy (1 Betys TT xr + 1 十 1) £6.65) 
28 | 


Tz YD ry 0) 一 引 YD 一 《6, 66) 


rz2|y10,0) = reel Ya) 一 引 ys 《6. 67) 


27 二 ‘| 
C6.647 定 (6.67) 给 出 了 Alxi|x 由 的 表达 式 ， 出 此 可 进行 Gibbs 抽样 . 
Gelfand 和 Smith" 习 对 上 述 数 据 采 用 Gibbs 抽样 进行 了 计算 ,他 们 采用 
遍历 均 什 来 判断 收 合 性 :在 链 中 每 隔 10 个 数据 取 一 -个 样本 ,每 20 个 样 
本 计算 . -次 遍 具 均值 ,在 经 过 5000 次 这 样 的 计算 后 Gibbs 抽样 已 经 收 
锭 ,四 此 可 得 到 下 列 悄 计 
EQy|y) = 0.123 
EW@|y) = 0.520 
Vart?|y)= 0. 0065 
Vart0|y)— 0.018 
另外 ,Gefland 和 Smith" 可 还 用 高 斯 二 次 积分 方法 求 出 了 E71y)= 
0. 1i23 和 Ely) 一 0.520, 二 者 一 致 . 

例 6.32 再 考虑 例 6.14 和 表 人 3 的 数据 ,此 处 我 们 采用 Gibbs 
抽样 来 进行 分 析 . 在 例 6.14 中 我 们 已 指 遇 上 一 1 的 满 条 件 分 
布 为 止 乱 分 布 , 另 外 ,由 56. 52) 式 可 以 导出 j.o0,r 的 满 条 件 分 布 ,分 别 
为 


(asryY ZE) ~ Np rm), A 


| 


Ei 


“1 
3 和 


(or |r YZ) Tan， 6 一 和 At 
| 


(rueosY, 2) 一 Ts - 17), 一 zi 一 pA)? 


其 中 1X Cx,6) 表 示 自 由 度 为 n, 具 有 非 中 心 参 数 5 的 倒 涪 分 布 . 据 此 可 
进行 Gibbs 抽样 . 
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为 便于 判断 收 伍 ,我们 平行 地 产生 10 条 Markov 链 , 在 经 过 100 
次 迁 牧 后 它们 就 已 经 收 敏 ,从 而 后 面 的 链 可 以 合并 起 来 使 用 ,在 得 到 大 
量 随 机 数 后 ,我 们 可 同时 计算 它 的 各 种 数字 特征 ,比如 ,在 收 敏 后 再 抽 
2000 次 ,可 算得 各 参数 的 后 验 分 布 的 分 位 数 , 结 果 见 表 6. 5. 


表 6.5 Gibbs 抽样 算得 的 后 验 分 位 数 


$6.4.4 Metropolis-Hastings 方法 


一 类 比 Gibbs 抽样 更 早出 现 , 也 更 一 般 化 的 MCMC 方法 是 
Metropolis-Hastings 方法 . Metropolis 等 人 在 1953 年 提出 了 一 种 构造 
转移 核 的 方法 中 ,Hastings 随后 对 之 加 以 推广 ,形成 Metrepolis- 
Hastings 方法 ;其 思路 如 下 . 

任意 选择 一 个 不 可 约 转 移 概 率 9(。，，) 以 及 -… 个 孙 数 a(*，，，)， 
oat* 1; 对 和 尾 一 组 会 (rx rT), 定义 

POA) = g(xsx' a(x ,x'), TF (6.68) 
则 plz, ) 撒 成 一 个 转移 以 . 

此 方法 的 实施 比较 直观 :如 果 链 在 时 刻 : 处 十 状态 z: 即 站 二 xz， 
划 首 先 由 at，|x} 产 生 一 个 潜在 的 转移 x 一 x ,然后 根据 概 闪 a(z ,zx') 
决定 是 省 转移 . 也 就 是 说 ,在 沟 在 转移 点 局 找到 后 ,以 概率 alx,z') 接 
受 作为 链 在 下 一 时 刻 的 状态 值 ,而 以 概率 1 一 ste sc 拒绝 转移 到 
,从 而 链 企 下 一 时 刻录 处 于 状态 z+. 于 是 ,在 有 了 .后 ;我 们 可 亿 
[0o,1jJ 上 均匀 分 布 抽 一 个 随机 数 , 则 
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， 站 wr ) 
ED 
x, watrr!) 
一 般 .分布 ga(*， |z) 称 为 建议 分 布 (Proposal distribution). 
因为 我 们 的 日 标 是 使 后 验 分 布 ztx) 成 为 平稳 分 布 ,因此 ,在 有 了 
字 ) 后 ,应 选择 一 个 a ,+ ”人知 相 应 的 pier 以 T{7) 为 其 平稳 


分 布 ， -个 最 常用 的 选择 是 


、 MET Yr vx) 
fr ) 一 min| 1 | (6. 69) 
此 时 plr 为 
qT ， NAT 人 (人 
《 3 7 一 
PIT je si >， Rr g(r rr) LAr rT') 


《6. 70) 
我 们 先 介 绍 Metropolis-Hastings 算法 的 防 个 性 质 ,然后 讨论 
qz 的 选择 问题 . 
定理 6.11 由 (5.70) 式 产生 的 Markov 链 是 可 道 的 , 即 
nxIplrar 一 A(T plz 7) (6. 71) 
且 zir) 是 由 (6.70}) 式 确定 的 Markov 链 的 平稳 分 布 . 
证 朋 ; 关 z= 二 x , 则 (6.71) 显 然 成 立 , 设 fx,， 则 


Tx GT 和) | 


TT pr ,T= zx)g le ymin{], ROTI TY) 


= min{ar{(z)g(r yr) rr qr sr)} 


1 ? | Trat ,和 
Xx g(r "emin[ 203 Yr st) 


| 


= Xr Pr ,tT) 
故 C6.71) 式 成 立 , 易 有 


[rayp Crs dz 一 je pix rd 


一 xz) pcr, zdz 


Tl!) 
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由 定理 6.11 可 以 看 出 ,建议 分 布 4txr;x) 可 以 取 各 种 形式 .下 面 
我 们 伍 绍 一些 党 用 的 建 说 分 布 的 选择 方法 . 
{1) Metropolis 选择 
Metropolis 曾 考 虑 对 称 的 建议 分 布 : 轨 , 即 
qT) 一 GZ x), 时 二 
此 时 ,exter,') 简 化 为 


utr 一 min | 1 2 


对 称 的 建议 分 布 必 很 常用 的 ,比如 , 当 z 争 定时 ,glx;zx') 可 取 成 正 
态 分 布 , 它 以 x 为 均 慎 , 而 方差 ( 协 差 阵 ) 为 常数 《 阵 ). 

对 称 建议 分 布 的 一 个 特 俩 是 g(tz;z 二 g(x 一 x”), 它 称 为 随机 
移动 Metropolis 算法 . 例如， 

TCT SE expl AD (EX 一 人 — wx) 2} 

(2) 独立 抽样 

如 果 gtx,z 与 当前 状态 无关, 即 9g{z zx 一 gtr ), 则 由 此 建议 
分 布 导 出 的 Metropolis-Hastings 算法 称 为 独立 抽样 . 此 处 ,alzx,x ) 变 
为 


a(rsr') 一 min [1 » 


TC ) 
Tt) | 
其 中 w(x 一 ztrY/g (zx), 

一 般 , 独 立 抽样 的 效果 可 能 很 好 ,也 可 能 很 不 好 '”1, 通常 ;要 使 独 
空 抽样 有 好 的 效果 ,9Cr) 应 接近 xtz) ,比较 安全 的 小 法 是 使 gtx) 的 尾 
比 xtz) 重 . 

《3) 单 区 素 Metropolis-Hastings 算法 

同时 产生 整个 蕊 有 时 是 困难 的 ,而 将 马 根据 其 分 量 进行 逐个 抽样 
则 简单 得 才 ,这 就 要 用 到 条 件 分 布 , 特 别 是 满 条 件 分 布 . 

考虑 光一 1 并 的 条 件 分 布 ,选择 -一 个 转 物 核 g(z 一 
2 站 国定 天 -一 大 一 不 变 , 由 世人 一 2 站 产生 一 个 可 能 
的 x 和, 然后 以 概率 
OT a (A | | 


Gt |) Oo ml 。 5 
| |) min| 1 ROT wl) 


§ .4 Markov Ctain Monte Carlo (Mt MC) 万 法 » 467+ 


决定 是 作 接受 江 作 为 链 的 下 -- 状 态 . 这 就 是 单元 素 Metropolis- 
Hastings 算法 . 

(zibbs 抽样 大 一 种 单元 达 Metropolis Hastings 算法 , 它 是 在 
Metropolis-hastings 方法 中 取 gC 一) 为 xCr|x.,) ,容易 验证 ;此 时 
(工人 一) 一 |， 

在 Gibbs 抽样 中 .xxz 可 能 难于 抽 卢 .而 Metropolis 方法 具 
有 很 大 的 灵活 性 , 它 可 取 gt，，*，) 为 易于 抽取 的 分 布 . 有 些 文献 研究 
了 Gibbs 抽样 与 Metropolis 方 法 的 销 合 合 问题 ,比如 在 Sibbs 抽样 中 使 
用 Metropolis 方法 来 抽取 随机 数 ,Gilks,Besl, 和 Tan 提出 了 一 种 
Gibbs 抽样 中 的 调整 第 选 Metropolis 抽样 方法 (adabtive Rejection 
KMetropolis Sampling} ,很 有 应 用 价值 . 


86-.4.5 应 用 


MCMC 算法 使 得 Bayes 方法 中 许多 看 起 米 图 难 的 计算 变 得 简单 
直观 ,正面 介绍 几 个 方面 的 应 用 . 

(1) 约束 参数 模型 

圣 带 约束 的 参数 模型 ,一般 的 分 析 计 算 比 较 麻 频 ,而 Gibbs 抽样 用 
于 约束 参数 权 型 则 非常 简单 . 在 8_; 给 定 下 ,由 约束 可 给 出 久 的 变动 范 
围 ( 约 束 参 数 空 间 的 截面 ), 它 一 般 是 一 个 区 间 5 有 时 是 区 各 的 并 )， 
Gibbs 抽样 只 需要 从 限制 在 该 区 间 内 的 一 锥 分 布 册 样 妈 可 , 它 比 直 接 
进行 带 约 末 的 高 维 积分 简单 得 多 ， 

比 如 :让 过 册 过 … 委 和 是 一 种 常见 的 参数 约束 条 件 , 若 日 的 后 验 分 
布 是 z(t0|y); 则 满 条 件 分 布 为 

TO NO i) oe rlO| ys tes 


其 中 如 = 一 属 ,9,.. 一 0 ,由 该 分 布 抽样 是 直接 的 . 
(2) 蛮 点 问题 
对 密 变 点 问题 ,Ciibbs 抽样 可 将 之 篇 化. 记 了 一 (7 7。), 若 
了 387， 一 .1 
其 中 如, 各 不 相等 ,0 二 7 过 7 芝 之 rr 王 ; 则 称 了 有 此 


。 458 。 第 六 章 ”统计 计算 方法 


个 变 点 . 设 rr 有 未知 , 满 条 件 分 布 是 简单 的 . 记 了 二 (ri， 
0 不 难看 出 
A Gir yOC NO | yr, 1 sy ) (6. 72) 
和 (rr By) oo 六 | 天 (6. 73) 
{6.72) 转 化 为 无 变 点 问题 的 后 验 分 布 , .6.73) 转 化 为 单 变 点 问题 且 模 
型 参数 均 已 知 . 看 一 个 例子 . 

调 56.23 设 及 FF 独立, 且 了 一 下 (和 一 1 
PCB80) 77 一头 十 lyn, 其 中 局 已 知 , 净 ,4,8 未知 ,这 是 音 变 点 问 
题 . 假设 万 ,14,8 的 先 验 分 布 为 ;在 {tl} 上 均匀 分 有 ,4 一 Galal， 
,6GCatasbs), 且 肯 ,A,8 独立 iaisaz 已 知 ; 但 二 ;,b: 是 未 知 超 参数 . 
取 第 二 屋 先 蛤 分 布 :5 一 JGCe,d7) ,i 一 1,2, 并 设 2,5; 独立 ,其 中 IGte， 
az) 表示 倒 Gamma 分 布 Ctreart sr da 已 知 ; 则 由 Bayes 公式 ;我 们 可 写 
出 诸 满 条 件 分 布 为 


是 + 
PAIG,R bi ba YT) ~Gala 十 DY CD + br')T') 
r=1 了 一 上 


PO kb BY) 一 Cafas 十 DY Dt + 0) 1!) 


4 一 上 十 1 1 一 1 
pO | 本 了 了 )》 ta tos tA dr7'} 1!) 
PB |B AAG RY ~ Gs co HT dr) 1 
LY A Lk) 


plRIAG,b ,bY) ~ 
L006 


其 中 


A a 


ce NO 
我 们 在 上 面 的 推导 中 赂 去 了 上 基体 的 步 又 ,请 读者 自己 完成 . 有 文献 中 
中 将 上 述 满 条 件 分 布 应 用 到 一 个 具体 的 数据 并 进行 迭代 ,给 出 了 计算 
结果 . 
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(3) 截 尾数 据 和 分 组 数据 

明确 起 见 , 设 y 一 Cy ,ys) 是 观测 秆 而 -加 只 知 其 落 在 
一 个 区 疝 谋 , 即 vv 入 y 和 #7 二 5s 十 1 mY 二 (vm) = 
(wep stm 则 总 的 后 验 分 布 为 


xblY,D,3) cc (IT p10 了 | ply 0)dy, 《6.74) 


J 一 5 十 1 
其 中 xf 人 是 9 的 先 验 分 布 . 
{6. ?74 一 般 是 难处 理 的 ,可 引进 添加 数据 全 人 
(ypir""sym)， 演 辜 (8,z) 的 后 验 分 布 . 易 见 满 条 件 分 布 为 
rNG i zr V UY) oc zy) {6. 75) 
Cjlz 0 VD y) oc | PCrlg)dz C6. 76) 


(6. 75) 转 化 为 无 截 尾数 据 的 后 验 分 布 ,而 66. 767 则 是 由 截断 分 布 抽样 . 
更 一 般 地 ,可 考虑 分 组 数据 的 处 理 . 设 在 Lrc 中 有 辣 个 观测 值 
(具体 值 未 知 ) ,一 1, 光 十 1 一 一 coyzri 一 co，> mm 一 下 -引进 = 
二 《zz 是 未 观测 到 的 其 体 试验 结果 (缺损 数 
据 》, 则 
TOO FT) ec rtf |z) C6. 77) 


Ry |= ,Tr) oC pile 十 1 [BY pe, [oI-, ,i Ea 
了 1 了 | "jl+! mr 


《6. 78) 
其 中 = fj 二 lewyri} 7 二 0;T 二 《rye TF 二 《rip 公式 
(6. 77) 是 完全 数据 的 后 验 分 布 ,(6. 78) 是 截断 分 布 的 有 了 序 样本 的 抽样 ， 
可 进一步 采用 {1) 中 的 纳 东 模型 抽样 方法 . 
MCMC 算法 的 应 用 范围 是 很 广 的 ,比如 多 层 先 验 模 型 ,广义 线性 
模型 ,时 间 序 列 , 多 个 分 布 的 湿 合 等 等 ,有 兴 埋 的 读者 可 和 套 阅 有 关 文 
献 ”， 
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习 题 六 
6.1 设 束 一 Fr 一 3r0<szs1 ,试用 道 变 换 法 给 出 抽样 步骤 . 


6.2 考虑 一 个 分 段 表示 的 密度 画 数 
Fr) 一 Acer 人 


1 
1 一 1] 


其 中 4 二 x 人 bab 可 为 无 穷 "试用 迹 变换 法 给 出 它 的 抽 
样 方法 . 


5.3 设 天, ,区 ,独立 同 分 布 于 某 个 Fr) Y—max{iXir, 


关 小 , 试 给 出 了 的 抽样 方法 . 可 考 虚 一 个 具体 的 分 布 ,比如 (x) 二 
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6.4 设 X~f(r)=n | ye-2dy; 试 用 合成 法 给 出 一 个 抽样 方 
案 . 

6.5 设 久 ~ 让 r=》 ,Pix,0 和 x 安 1; 其 中 请 pj; 宇 0 已 知 ， 
3)p; = 二 1, 试用 合成 法 给 出 一 个 氛 样 方案 . 

6.6 证 明 :对 任意 的 a>0,8>0 和 0x 不 1, 有 

TA 
利用 此 不 等 式 , 令 
h(x)= Le 上 《1 — ze!] 


如 (一 [Lr 二 Cl 


_ da 十 右上 (2 十 月) 
< af TCF) 


由 此 给 出 Beta 分 布 的 抽样 方案 . 

6,7 对 一 些 ? :比如 am 一 3,10,20, 分 别 用 (6. 8) 和 (6. 9 产生 于 个 
五 xz5(I) 随 机 数 ,比较 它们 所 需 的 时 间 . 

6,8 《12 证 明 引 理 6.4 的 结论 ; 

(2) 设 下 1 ,这 ; 是 相互 独立 的 标 淮 正 态 变量 , 邻 Y 一 鲜 1/ 六 ,证 明 :Y 
服从 Cauchy 分 布 , 由 此 给 出 Cauchy 分 布 的 一 个 抽样 方法 ， 

6.9 设立 服从 Laplace 分 布 ( 双 指 数 分 布 ), 密 度 沙 数 为 


fx) = Boe %, 8>0 


试 分 别 用 道 变换 法 和 合成 法 给 出 其 抽样 方案 . 
6.10 试用 道 变 换 法 产生 来 自 极 值 分 布 的 随机 数 . 极 值 分 布 的 密 
度 范 数 为 


f(z) = Texp| 二 (zx A0 一 exp 三 二) 上， 0 


[a 
6.11 设 到 的 分 布 密度 函数 为 


世 二 5， 2 十 
f(r) = 2b— x es 
ay 立 十 和 工 守 :26 
0， 其 它 
试用 道 变换 法 及 合成 法 给 出 其 抽样 方案 . 
6.12 令 
Cr A 
f(r) 一 | 本 (6.79) 

0， 其 它 


其 中 z= 二 zz 计 0, 二 二 6 主 047 二 1,oorn, 证 明 ; 荐 上 一 (00,1); 抽 到 二 
Lx 十 200 一 让 /ej 的 分 布 密度 函数 为 (6. 79) 式 ,其 中 


m= | ordxr, 下 
”3 


从 而 给 出 分 布 (46. 79) 的 抽样 方案 ， 
6.13 设 蕊 是 连续 型 随机 变量 ,其 密度 函数 及 分 布 函数 分 蝇 为 
FO 和 Fr}, rE 一 coyco). 念 
ez) ~ pep es 让 人 三 [Lab] 
则 gz) 是 由 F(x) 定义 的 在 [a,5] 上 截断 的 分 布 . 试 给 出 由 glx) 抽取 
随机 数 的 上 方法. 
6.14 设 革 的 密度 函数 为 


Acz) = 下 ， 工 和 《一 1 1) 
试用 首 襟 换 法 ,合成 法 和 秘 选 法 产生 它 的 随机 数 , 并 比较 这 三 种 抽样 方 
法 的 好 坏 . 


6.15 币 UU,Us 来 自 UC0,1) 分 布 , 令 了 一 U1, 了 ,一 2, 其 中 避 
0p>0. 证 明 , 苦 了 十 7 和 1, 则 


服从 Reta 分 布 Bekayp). 据 此 给 出 Beta 分 布 的 -- 个 抽样 方法 . 
6.16 考 志 六 分 布 的 一 个 抽样 方法 .证 明 : 若 习 ,…r7。 基 来 自 
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UC0,1) 的 随机 数 . 令 
成 一 -- 2lcg TIe (6. 80) 
则 关 服 从 妇 人 (22 分 布 ,区 而 (6. 80) 给 出 灾 (24) 的 -个 抽样 方法 


6.17 考 虐 积分 1 二 [feng cr)dz, 其 中 g(x) 是 一 个 密度 丽 数 . 


设 苹 ,,…, 式 . 是 来 自己 Ga,00 的 随机 数 , 则 我 们 可 出 样本 平 欧 值 法 及 关 
联 抽 样 法 纵 出 工 的 估计 为 


hi = FX) 
i=] 


=i YEAR) + fF + a Xi)] 


2 < 
f=| 


证 明 ; 若 定理 6.8 的 条 件 满 足 , 则 有 Var(f) SE 3 Var(1). 


6.18 试 举 例 说 明 ,如果 分 是 不 合理 ,也 可 能 使 抽样 效果 变 差 . 就 
是 说 , 若 在 分 配 抽样 次 数 时 ,贡献 大 指 抽 样 次 数 反 而 少 , 则 可 能 出 现 分 
屋 抽 样 给 出 的 估计 的 方差 比 样本 平均 值 法 给 出 居 计 的 方差 还 大 . 

6.19 试 分 别 用 随 视 投 点 法 ,样本 平均 值 法 ,重要 抽样 法 及 分 层 抽 


样 法 近似 计算 9= | edc, 并 比较 各 种 算法 的 精度 . 
6.20 记 0= f(z)g (zydzig(x) 是 一 个 密度 两 数 , 设 AKCz) 是 另 
一 密度 应 数 .X,，…, 义 , 是 来 自 A(z? 的 样本 , 则 8 的 一 个 无 偏 估计 是 


1 [和 | 
6 = 一 AX) he 


1 F(x) ptr) 


证 明 : 当 (Cx) 一 - 
Nf) letxydr 


时 ,Var 页) 达 最 小 ,最 小 值 为 


TL Ifo le dep 一 的 


6.21 设 瑟 服从 Cauchy 分 布 ,其 密度 因数 为 
fr) = [xl 十 xz] 
记 8 一 P(X>2)( 二 0.1476) ,考虑 如 下 三 个 8 的 估计 ， 


(1) 0 = 和 9 (zi) ,其 中 
il, 如 2 和 
?c= 二 而 x ，… sz, 是 来 站 Cauchy 分 布 的 样本 ; 


> 72.，、 如 果 |zl>>2， 
(2 色 一 记 (Cz) 其 中 网 (x) 一 而 mm， 


10， 其 它 ， 
zs 是 来 自 Cauchy 分 布 的 样本 ; 


(3) 扩 一 二 汪 pzi) ,其 中 CT) 二 二/ (x) .而 zi ,bx 是 来 自 


0,172) 分 布 的 样本 . 

试 证 明 : 久 ,一 1,2,3 都 是 如 的 无 偏 估 计 , 并 比较 它们 的 方差 . 

6.22 设计 一 NOE) oi 一 1 诸 瑟 独立 ,其 中 让 en 
为 独立 回 分 布 变 量 , 其 密度 函数 为 Fec). 将 cj,… ,i 看 作 缺 损 数 据 , 我 
们 可 用 EM 算法 求 xg,# 的 估计 . 

(1) 导出 该 问题 的 急 熙 数 ; 

《2》 记 Po 的 当前 估计 秆 为 y,oi ,证 明 上 步 简 化 为 计算 


Te 一 Ete. | 大 WA os, ) 
《3) 证 明 M 步 简化 为 计算 


i 
jv > 1 
CI) j= 
天 加 ‘oy 
Le 


lx 1 
at = PK, 一 A) 
i=1 


(4) 对 一 个 居 体 的 ci 的 分 布 , 璧 如 六 分布, 给 出 ww”. 

6.23 令 民 为 独立 同 分 布 变量 ,其 密 席 丽 数 为 4 一. 设 我 
们 能 够 观测 到 钦 是 (Yi,6) ,Yi 一 minC%irc0 6 二 x991 二 1 取 
平坦 先 验 分 布 ( 即 =(42ec1). 

(1) 证 明 : 若 4 的 当前 估计 秆 为 4, 则 QQ 函数 鸭 


nloRA 一 - 从 了 >》 了 (区 站， 
1 
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(2) 计算 ECK, |Y; .B.A)， 
{3) 给 出 M 步 . 
6. 24 考虑 上 上 个 分 布 的 混合 . 设 攻 ; 航 分 布 密度 函数 为 


中 
flxi) = DpPrin pin0), 一 


其 中 PCzspo 一 (V2mc) lexp {一 C7 一 让)/20 .pis Wo0 都 是 未 知 
的 ，》)，. ,==1,0<<pj<1. 令 二 是 一 个 上 维 示 性 向 基 . 表 示 蕊 来 自 上 
个 分 量 中 的 哪 一 个 , 即 志 = (Czar za), 诸 zy 非 0 凶 1, 且 3) zy 一 1 
于 是 可 给 出 深 加 似 然 酒 数 为 


点 
[| ppc ne re 
El 


(1) 导 出 信函 数 , 纵 出 E 步 和 M 步 ; 

(2) 将 表 6.6 中 数据 用 上 述 模 型 拟 合 ,并 用 EM 算法 估计 请 参数 
〔 取 下 一 3) ; 

《3 计算 估计 的 标准 差 . 


囊 克 6 数 据 


9350 9558 
16084 18419 | 
19052 | 19330 
19473 19541 
19856 | 19914 
”20166 20179 
20415 20795 
20986 21492 
21960 22209 
22374 22746 
23206 23263 
23666 23711 
24366 24990 25633 
32065 34279 


6.25 设 有 一 上 yn 诸 yy; 独立 .假设 
1 


如 


+exp{— (a Br))} 
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取 平 坦 先 验 分 布 rka ,Byoc1， 

(1) 导出 ae 有 的 后 验 分 布 ; 

(2) 设计 一 个 单元 率 Metropolis-Hastings 算法 ,导出 其 接收 概 
率 ; 

(3) 震感 能 否 对 之 如 以 改进 . 

6.26 考虑 例 6.13 中 的 模型 和 数据 , 取 平 圳 先 验 分 布 . 

(1) 采用 Cibbs 抽样 对 它 进行 分 析 , 给 出 8 的 后 验 均 值 千 计 , 并 将 
挝 代 过 程 中 的 8" 关 十 i 作 图 ; 

(2) 向 时 从 几 个 (譬如 10 个) 不 同 的 初始 点 出 发 进行 Gibbs 抽样 ， 
计算 各 自给 出 的 2 的 佑 计 并 作 图 . 它们 在 经 过 一 发 选 代 后 是 否 趋 于 等 
同 ? 这 是 一 种 常用 的 判断 Gibbs 抽样 收 化 性 的 方法 ; 

(3) 将 例 8.13 中 的 数据 (125,18,20,34) 改 为 (14,0,1,5), 重 复 
C1) (2), 

6.27 仍 考 虑 例 6.13 中 的 模型 和 数据 , 取 平 坦 先 验 分 布 . 试用 
Metropolis-Hastings 算法 进行 分 析 , 分 别 采 用 如 下 一 些 建议 分 布 ， 
TO.DaNo0 0 0 8 为 当前 估计 慎 , 下 同 );， NI ,0 00013; 
Neo 4.0.01). 给 出 估计 值 并 作 图 ， 


